Formation Développement MapReduce & Spark sur Hadoop

Big Data - Mise en oeuvre de traitements avec Spark

Télécharger le plan de cours

Demander un devis

Obtenir un renseignement

Informations générales

Référence HF-HADM

Durée 3 jours (21h)

Tarif 2 290 €HT

Repas 60 €HT (en option)

Objectifs

Après ce cours, vous serez capable de :

Identifier le fonctionnement de MapReduce
Identifier le fonctionnement de Spark
Pouvoir développer des applications distribuées dans un environnement

Public

Ce cours s'adresse avant tout aux personnes suivantes :

Chef de projets, Développeur, Ingénieur d'études, Architecte technique et toute personne souhaitant développer des applications distribuées dans un environnement Hadoop

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

Notions en programmation Java et/ou Python et SQL

Programme de la formation

Hadoop est un framework libre et Open Source destiné à faciliter la création d'applications distribuées pour le stockage et le traitement d'immenses volumes de données. Cette formation vous permettra d'acquérir les compétences nécessaires pour développer des solutions compatibles avec la plateforme Hadoop. Vous apprenez à développer des applications MapReduce et Spark sur cette plateforme.

Introduction

Introduction au Big Data
Introduction à Hadoop
Introduction à Spark

La plateforme Hadoop

Architecture et composants de la plateforme Hadoop
HDFS : NameNode / DataNode
Paradigme MapReduce et YARN
Les technologies émergentes

MapReduce

Détailler l'approche MapReduce
Programmation MapReduce
Configuration des jobs
Comment interagir avec les jobs MapReduce
Principales Interfaces utilisateurs : Mapper, Reducer, Partitioner, Counter
Les entrées / sorties d'une application MapReduce
Comment réaliser des tests unitaires d'applications MapReduce
Comment utiliser des combinateurs MapReduce, des partitioners et des caches distribués

Meilleures pratiques pour développer et débugger des applications MapReduce

plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Mis à jour le 30/01/2024