Formation Big Data - Supervision de solutions avec Grafana, Kibana, Graphite et Prometheus

Anticiper des pannes et alerter en cas de dysfonctionnement

Télécharger le plan de cours

Demander un devis

Obtenir un renseignement

Informations générales

Référence BD570

Durée 3 jours (21h)

Tarif 2 230 €HT

Objectifs

Après ce cours, vous serez capable de :

Connaître les outils et mécanismes permettant de superviser des fermes Big Data
Être en mesure de mettre en oeuvre et configurer les différents outils Open Source nécessaires à la construction d'une solution de supervision
Savoir combiner et associer ces outils pour construire une solution de supervision complète et efficace

Public

Ce cours s'adresse avant tout aux personnes suivantes :

Exploitants, architectes Big Data, chefs de projet et toute personne souhaitant mettre en œuvre un système de supervision d'une ferme Big Data

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

Connaissance générale des systèmes d'informations et des bases de données

Programme de la formation

Comme toute application en production, une application Big Data doit faire l'objet d'une surveillance attentive. Mais en raison des caractéristiques spécifiques des applications Big Data qui répartissent généralement les traitements de très important volumes d'information entre différents serveurs, les process traditionnels de supervision ne suffisent pas. Un des procédés consiste à utiliser différentes briques logicielles Open Source pour créer la combinaison la plus adaptée à une problématique spécifique. A l'issue de cette formation de 3 jours, les participants auront acquis les compétences et connaissances nécessaires à la mise en oeuvre d'une solution de supervision avec Grafana, Kibana, Graphite et Prometheus.

Supervision : définitions

Les objectifs de la supervision, les techniques disponibles
La supervision d'une ferme Big Data
Objets supervisés
Les services et ressources
Protocoles d'accès
Exporteurs distribués de données
Définition des ressources à surveiller
Journaux et métriques
Application aux fermes Big Data : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
Produits : Prometheus, Graphite, ElasticSearch
Présentation, architectures
Les sur-couches : Kibana, Grafana

JMX

Principe des accès JMX
MBeans
Visualisation avec jconsole et jmxterm
Suivi des performances Cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...

Prometheus

Installation et configuration de base
Définition des ressources supervisées, des intervalles de collecte
Démarrage du serveur Prometheus
Premiers pas dans la console web, et l'interface graphique
Exporteur JMX
Exporteur MongoDB
Démonstration avec Cassandra ou Hadoop/HBase
Configuration des agents sur les noeuds de calculs
Agrégation des données JMX
Expressions régulières
Requêtage
Visualisation des données

Graphite

Modèle de données et mesures
Format des données stockées, notion de timestamp
Types de mesures : compteurs, jauges, histogrammes, résumés
Identification des ressources supervisées : notions d'instances, de jobs
Démonstration avec Cassandra
Comparaison avec Prometheus

Exploration et visualisation des données

Mise en oeuvre de Grafana : installation, configuration
Pose de filtres sur Prometheus et remontée des données
Étude des différents types de graphiques disponibles
Agrégation de données
Appairage des données entre Prometheus et Grafana
Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques

Kibana, installation et configuration

Installation, configuration du mapping avec Elasticsearch
Injection des données avec Logstash et Metribeat
Architectures, paramétrages
Mapping automatique ou manuel
Configuration des indexes à explorer

plus d'infos

Méthode pédagogique

Une formation qui accorde une large place à la pratique : au moins 50% du temps de la formation est consacré à la mise en oeuvre d’une solution de supervision.
La formation alterne les présentations théoriques avec les exercices en groupe ou individuels.
Des versions numériques de tous les documents sont remises aux participants (support de cours, énoncés, corrigés).

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Suivre cette formation à distance

Un ordinateur avec webcam, micro, haut-parleur et un navigateur (de préférence Chrome ou Firefox). Un casque n'est pas nécessaire suivant l'environnement.
Une connexion Internet de type ADSL ou supérieure. Attention, une connexion Internet ne permettant pas, par exemple, de recevoir la télévision par Internet, ne sera pas suffisante, cela engendrera des déconnexions intempestives du stagiaire et dérangera toute la classe.
Privilégier une connexion filaire plutôt que le Wifi.
Avoir accès au poste depuis lequel vous suivrez le cours à distance au moins 2 jours avant la formation pour effectuer les tests de connexion préalables.
Votre numéro de téléphone portable (pour l'envoi du mot de passe d'accès aux supports de cours et pour une messagerie instantanée autre que celle intégrée à la classe virtuelle).
Selon la formation, une configuration spécifique de votre machine peut être attendue, merci de nous contacter.
Pour les formations incluant le passage d'une certification la dernière journée, un voucher vous est fourni pour passer l'examen en ligne.
Pour les formations logiciel (Adobe, Microsoft Office...), il est nécessaire d'avoir le logiciel installé sur votre machine, nous ne fournissons pas de licence ou de version test.
Horaires identiques au présentiel.

Mis à jour le 16/09/2024