Formation Big Data - L'écosystème centralisé de streaming avec Apache Kafka

Télécharger le plan de cours

Demander un devis

Obtenir un renseignement

Informations générales

Référence BIG554

Durée 3 jours (21h)

Tarif 2 190 €HT

Objectifs

Après ce cours, vous serez capable de :

Expliquer le fonctionnement de Kafka et les principes de communications inter applications
Appliquer les bonnes pratiques de distribution de messages
Intégrer les données de différents formats et de sources différentes
Identifier les différentes APIs de Kafka
Mettre en oeuvre KSQL
Travailler en sécurité avec Kafka

Public

Ce cours s'adresse avant tout aux personnes suivantes :

Architectes, chefs de projet, développeurs, équipes DevOps…

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

Posséder des notions d'architectures applicatives en entreprise et des connaissances des protocoles réseaux
Avoir de bonnes connaissances en Java ou d'un autre langage
Des connaissances en Spring ou Node.js sont recommandées

Programme de la formation

Comprendre le fonctionnement de Kafka et les principes de communications inter applications

Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
Liaison éventuelle avec Zookeeper. Impacts.

Acquérir les bonnes pratiques de distribution de messages

Etude de la configuration du broker
Atelier : création d'une configuration multi-broker, démarrage de plusieurs noeuds
Atelier : création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer

Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples,
modes de fonctionnement (standalone ou distribué)
Types de connecteurs
Atelier : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Appréhender les différentes APIs de Kafka.

Conception d'applications avec Kafka. Principe de fonctionnement.
Atelier : développement de prototypes en Python, Java, Scala
Couplage avec SparkStreaming en mode batch, en mode continu
Principe et architecture de Kafka Streams

Mettre en oeuvre KSQL

Conception d'application avec KSQL. La sur-couche KSQL.
Présentation de ksqlDB. Création de flux en KSQL. Les ajouts SQL pour permettre le traitement en flux.
Micro-batchs. Introduction au water-marking.
Atelier : mise en oeuvre d'une chaîne de traitement avec KSQL

Travailler en sécurité avec Kafka

Intégrité et confidentialité :
Chiffrement SSL et authentification SASL.
Sécurisation de l'infrastructure : Zookeeper, proxy Rest
Disponibilité : La réplication. Facteur de réplication. Partitions
Atelier : tests de haute disponibilité dans une configuration multi-noeuds

Exploitation

Mise en oeuvre de kafka-tool
Gestion des logs
Détection de pannes : méthodes et outils
Benchmarks

plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Suivre cette formation à distance

Un ordinateur avec webcam, micro, haut-parleur et un navigateur (de préférence Chrome ou Firefox). Un casque n'est pas nécessaire suivant l'environnement.
Une connexion Internet de type ADSL ou supérieure. Attention, une connexion Internet ne permettant pas, par exemple, de recevoir la télévision par Internet, ne sera pas suffisante, cela engendrera des déconnexions intempestives du stagiaire et dérangera toute la classe.
Privilégier une connexion filaire plutôt que le Wifi.
Avoir accès au poste depuis lequel vous suivrez le cours à distance au moins 2 jours avant la formation pour effectuer les tests de connexion préalables.
Votre numéro de téléphone portable (pour l'envoi du mot de passe d'accès aux supports de cours et pour une messagerie instantanée autre que celle intégrée à la classe virtuelle).
Selon la formation, une configuration spécifique de votre machine peut être attendue, merci de nous contacter.
Pour les formations incluant le passage d'une certification la dernière journée, un voucher vous est fourni pour passer l'examen en ligne.
Pour les formations logiciel (Adobe, Microsoft Office...), il est nécessaire d'avoir le logiciel installé sur votre machine, nous ne fournissons pas de licence ou de version test.
Horaires identiques au présentiel.

Mis à jour le 08/04/2024