Formation Big Data - Gestion des flux de données avec Apache Nifi

Collecter en temps réel des données provenant de sources hétérogènes

Télécharger le plan de cours

Demander un devis

Obtenir un renseignement

Informations générales

Référence BIG553

Durée 2 jours (14h)

Tarif à partir de 1 670 €HT

Objectifs

Après ce cours, vous serez capable de :

Identifier le concept de programmation "flow-based"
Pouvoir installer et configurer Apache Nifi
Être en mesure de créer des flux impliquant différents composants logiciels

Public

Ce cours s'adresse avant tout aux personnes suivantes :

Architecte, tech lead, développeur souhaitant utiliser Apache Nifi

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

Notions en intégration d'applications et architecture logicielle de SI
Pratique du développement Java

Programme de la formation

A l’heure du Big Data, la collecte en temps réel d’informations provenant de diverses sources de données telles que les emails, les bases de données traditionnelles ou encore les réseaux sociaux est devenue un enjeu non négligeable pour les entreprises qui souhaitent mener des analyses de plus en plus poussées. En fournissant une multitude de connecteurs aux différentes sources de données et un environnement graphique permettant de créer très simplement des flux, Apache Nifi constitue un des outils actuellement incontournables. Cette formation permet d'en comprendre les principes à travers la réalisation d'applications concrètes.

APACHE NIFI ET LA PROGRAMMATION "FLOW-BASED"

Les concepts de programmation "flow-based" et les workflows
Le projet Open Source Apache Nifi et ses concurrents (Apache Camel, Node-RED, ...)
L'écosystème Nifi et ses distributions (Hortonworks DataFlow, ...)
Les fonctionnalités essentielles
Les pré-requis d'installation et les modes de fonctionnement
Mise en pratique : installation du produit Apache Nifi et vérification de son fonctionnement

CONCEPTS DE BASE APACHE NIFI

Les cas d'usage d'Apache Nifi : EAI, Big Data, IoT, ...
Les concepts de FlowFile, de Processor et de Connector
La prise en main de l'interface Web
La création d'un flux et son fonctionnement
Le monitoring
Mise en pratique: création et exécution d'un flux de manipulation de fichiers avec GetFile, PutFile, ...

UTILISATION AVANCÉE

Le format des FlowFiles
Le langage EL et la gestion de conditions de routage
Les principaux processeurs et leurs paramètres
L'utilisation de scripts (Groovy, Python, ...)
La gestion d'erreurs
Controller Service, Processor Group et Reporting task
L'utilisation de templates
Mise en pratique : réalisation d'un flux conditionnel avec différents systèmes (brokers JMS ou MQTT, BD, ...)

CLUSTER ET BIG DATA

Le fonctionnement en cluster avec Zookeeper
L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
Mise en pratique : configuration d'un cluster avec Zookeeper

EXTENSIONS

Les principes de fonctionnement d'un Processor
Le paramétrage et l'accès aux données d'un flux
Le packaging d'un Processor dans un NAR
Mise en pratique : intégration d'un Processor tiers et réalisation d'un nouveau Processor

plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Mis à jour le 04/12/2024