Formation Maîtriser ses projets Big Data

Big Data, que signifie-t-il pour l’entreprise ?

Définissons ici le vocabulaire et les enjeux du Big Data

• « Big Data », sa place dans l’écosystème IT en 2023
• Data Mesh, Edge computing.. Des tendances incompatibles ou complémentaires au Big Data ?
• Création de valeur à partir des données massives
• Raffinage des données massives : un flux complet de bout en bout
• Business intelligence ou Big Data

2 – Le stockage des Big Data

Apprenez à stocker et mettre à disposition ces Big Data

• Technologies de stockage distribué : bloc, objet. Hadoop à la genèse mais des évolutions ont été nécessaires.
• Le transactionnel Big Data NoSQL (disque ou in-memory) et NewSQL: vue d’ensemble des types (document, colonne, graph, etc..) et acteurs (MongoDB, Cassandra, Neo4j, Redis, etc..)
• Les bases de données Séries Temporelles : exemple de Prometheus et InfluxDB
• La révolution Cloud, le stockage vu comme moins limitant
• Data virtualization et Software Defined Storage

3 – Les architectures Big Data

Déterminez le positionnement des différentes briques au sein d’une architecture solide

• Le fondement des architectures Big Data : Performance, scalabilité, disponibilité
• Typologie des architectures techniques : Lambda, Kappa.. dans une optique de persistance polyglotte
• Panorama des solutions On Premise : Ecosystème Hadoop en recul, mais plus d’architecture orientée évènementiel et calculs.
• Panorama des nouvelles architectures Cloud : vers une vision plateforme Big Data Analytics (exemple sur AWS, Azure et GCP)
• Les plateformes Cloud de Data Warehousing comme accélérateurs : Exemple de Snowflake
• CAS PRATIQUES : Trois cas d’usages

4 – Les fondamentaux du traitement et l’analyse des données Big Data

Appréhendez les techniques d’analyse des données indispensables au Big Data.

• Fondamentaux du traitement de données Big Data : réalisation d’un calcul distribué MapReduce
• Intelligence Artificielle et Big Data comment les mettre en place conjointement
• Evolutions du Data Mining vers le Machine Learning : possibilité de traiter plus de données
• Machine Learning en environnement parallèle, importance du In-memory : exemples de Spark, Kafka
• Visualisation des données à valeur ajoutée
• Le cadre juridique des données : exemple du RGPD

5 – Big Data et méthodologie de projet

Orchestrez les différentes connaissances acquises via une méthodologie spécifique aux projets Data

• Le cadrage des projets Big Data : quels sujets ?
• Le management des projets de Big Data : quel déroulé de projet ?
• L’organisation des projets Big Data : quelles compétences ?
• Rôle de la DSI dans le Big Data : nécessité d’une évolution.