Organisme de Formation aux technologies et métiers de L'informatique
Effectuez une recherche
recherche
Accédez à votre espace client
Une question ? Contactez-nous
0 article panier
éditeurs domaines cursus certifications cpf

Formation Big Data - Gestion des flux de données avec Apache Nifi

Collecter en temps réel des données provenant de sources hétérogènes

Télécharger le plan de cours
Demander un devis
Obtenir un renseignement

Informations générales

BIG553
2 jours (14h)
à partir de 1 670 €HT

Objectifs

Après ce cours, vous serez capable de :

  • Identifier le concept de programmation "flow-based"
  • Pouvoir installer et configurer Apache Nifi
  • Être en mesure de créer des flux impliquant différents composants logiciels

Public

Ce cours s'adresse avant tout aux personnes suivantes :

  • Architecte, tech lead, développeur souhaitant utiliser Apache Nifi

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

  • Notions en intégration d'applications et architecture logicielle de SI
  • Pratique du développement Java

Programme de la formation

A l’heure du Big Data, la collecte en temps réel d’informations provenant de diverses sources de données telles que les emails, les bases de données traditionnelles ou encore les réseaux sociaux est devenue un enjeu non négligeable pour les entreprises qui souhaitent mener des analyses de plus en plus poussées. En fournissant une multitude de connecteurs aux différentes sources de données et un environnement graphique permettant de créer très simplement des flux, Apache Nifi constitue un des outils actuellement incontournables. Cette formation permet d'en comprendre les principes à travers la réalisation d'applications concrètes.

APACHE NIFI ET LA PROGRAMMATION "FLOW-BASED"

  • Les concepts de programmation "flow-based" et les workflows
  • Le projet Open Source Apache Nifi et ses concurrents (Apache Camel, Node-RED, ...)
  • L'écosystème Nifi et ses distributions (Hortonworks DataFlow, ...)
  • Les fonctionnalités essentielles
  • Les pré-requis d'installation et les modes de fonctionnement
  • Mise en pratique : installation du produit Apache Nifi et vérification de son fonctionnement

CONCEPTS DE BASE APACHE NIFI

  • Les cas d'usage d'Apache Nifi : EAI, Big Data, IoT, ...
  • Les concepts de FlowFile, de Processor et de Connector
  • La prise en main de l'interface Web
  • La création d'un flux et son fonctionnement
  • Le monitoring
  • Mise en pratique: création et exécution d'un flux de manipulation de fichiers avec GetFile, PutFile, ...

UTILISATION AVANCÉE

  • Le format des FlowFiles
  • Le langage EL et la gestion de conditions de routage
  • Les principaux processeurs et leurs paramètres
  • L'utilisation de scripts (Groovy, Python, ...)
  • La gestion d'erreurs
  • Controller Service, Processor Group et Reporting task
  • L'utilisation de templates
  • Mise en pratique : réalisation d'un flux conditionnel avec différents systèmes (brokers JMS ou MQTT, BD, ...)

CLUSTER ET BIG DATA

  • Le fonctionnement en cluster avec Zookeeper
  • L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
  • Mise en pratique : configuration d'un cluster avec Zookeeper

EXTENSIONS

  • Les principes de fonctionnement d'un Processor
  • Le paramétrage et l'accès aux données d'un flux
  • Le packaging d'un Processor dans un NAR
  • Mise en pratique : intégration d'un Processor tiers et réalisation d'un nouveau Processor
plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Suivre cette formation à distance

  • Un ordinateur avec webcam, micro, haut-parleur et un navigateur (de préférence Chrome ou Firefox). Un casque n'est pas nécessaire suivant l'environnement.
  • Une connexion Internet de type ADSL ou supérieure. Attention, une connexion Internet ne permettant pas, par exemple, de recevoir la télévision par Internet, ne sera pas suffisante, cela engendrera des déconnexions intempestives du stagiaire et dérangera toute la classe.
  • Privilégier une connexion filaire plutôt que le Wifi.
  • Avoir accès au poste depuis lequel vous suivrez le cours à distance au moins 2 jours avant la formation pour effectuer les tests de connexion préalables.
  • Votre numéro de téléphone portable (pour l'envoi du mot de passe d'accès aux supports de cours et pour une messagerie instantanée autre que celle intégrée à la classe virtuelle).
  • Selon la formation, une configuration spécifique de votre machine peut être attendue, merci de nous contacter.
  • Pour les formations incluant le passage d'une certification la dernière journée, un voucher vous est fourni pour passer l'examen en ligne.
  • Pour les formations logiciel (Adobe, Microsoft Office...), il est nécessaire d'avoir le logiciel installé sur votre machine, nous ne fournissons pas de licence ou de version test.
  • Horaires identiques au présentiel.

Mis à jour le 04/12/2024