Formation Data Mesh : retours d'expérience et guide pratique de mise en place

Replacer le data mesh dans le contexte des architectures de données

•  Pourquoi est-on arrivé aux limites de la combinaison data warehouse – data lake – data lakehouse ?
•  Comment ont évolué les organisations, du paternalisme au managérisme ? le concept de « shift left »
•  De l’entreprise centralisée à l’entreprise fédérale
•  Comparaison des architectures : Data Lake, Lakehouse, Fabric, Hub…
•  Le rôle croissant des métiers dans l’organisation : traduction en termes de développements informatiques, le Domain Driven Design (DDD)
•  Évaluer la maturité d’une organisation face au Data Mesh : mise en place d’une matrice de mesure
•  Identifier les domaines métiers à prioriser

Le Data Mesh et sa proposition de valeur

• Les 4 grands principes du Data Mesh
  •  Responsabilisation des métiers
  •  Data Product
  •  Plateforme libre-service de données
  •  Gouvernance fédérée
• Le data mesh appliqué aux données opérationnelles, et aux données analytiques
• La responsabilisation des métiers
  •  Application du Domain Driven Design aux données
  •  Embarquez-les data owners pour valoriser leur travail
  •  Comment passer de la gouvernance actuelle à une gouvernance orientée métiers
  •  Impacts sur l’implémentation
• Les Data Products
  •  Appliquer la démarche de création de produits et services aux données : le Data Product Model Canvas
  •  Aligner avec le catalogue des données
  •  Créer et formaliser les schémas des Data Products – Créer un métamodèle en YAML ou JSON
  •  Contractualiser les Data Products : les data contracts et leurs outils
• Le rôle du Data Contract dans l’amélioration de la qualité des données
• Data contracts vs Data Usage Agreemeny
• Utilisation de Data Contracts Studio – Formaliser un modèle de Data Contract en YAML ou JSON
• Mesurer et contrôler la qualité des données dans un environnement data mesh
  • Comment implémenter les Data Products dans l’organisation – Découverte d’outils comme dbt
  • Conduite du changement : passer à une culture “Confiance Vérifiée” de la consommation de la donnée
• Mettre en place une plateforme de données
  •  Industrialiser les Data Products – le rôle du Data Product Engineer
  •  Construire les pipelines de données
  •  Construire une matrice Domaines Métiers / Centralisation Technique et répartir les rôles entre l’informatique et les métiers
•  Le rôle du Data Steward dans la mise en place du Data Mesh
  •  Passer d’une gouvernance des données centralisée (ou absente) à une gouvernance fédérale
  •  Répartir les rôles et responsabilités entre les métiers, le data office et l’informatique
  •  Faire cohabiter le Data Mesh et la gestion des données de référence (MDM)
  •  Équilibrer les contraintes entre l’autonomie des métiers et l’interopérabilité globale du système
  •  Formaliser et coder les différents éléments de la gouvernance : les standards, les règles, les tests, les indicateurs

L’architecture Data Mesh

•  Quel plan de marche pour débuter un projet Data Mesh en un mois
•  Le Data Mesh est une organisation, pas une architecture clef en main
  •  L’architecture logique
  •  L’architecture technique
•  Comment définir l’architecture d’un Data Product : Collecter, Transformer / Préparer, et Consommer les jeux de données
•  Aligner les besoins des consommateurs et les contraintes des producteurs de données : les ateliers de co- création des Data Products, la formalisation des Data Contracts
•  Publier et partager les Data Products : maximiser l’interopérabilité
•  Garantir la compatibilité ascendante des Data Products
•  Observer et contrôler le cycle de vie des Data Products
•  Respecter les règles de conformité (RGPD et autres)
•  Stratégie et exécution du projet Data Mesh : plan de marche, personnes à impliquer, rôles, charge de travail, budget initial, budget de fonctionnement

Les outils du Data Mesh

•  Le Data Mesh : en interne ou en cloud – avantages et inconvénients des différentes solutions
•  Construire un Data Mesh basé sur les événements – Change Data Capture (CDC) et Data Mesh : les outils de création des pipelines de données
•  Les Data Product Platforms spécialisées : Nextdata, IBM, Starburst, Snowflake, Databricks, Denodo, SAP, Amazon, Orkestra Data, AbeaData…
•  Partager et publier les data products au travers d’un portail
•  Les briques à assembler : Estuary Flow, K2view…
•  Les solutions open source : Dremio, Apache…
•  Les architectures complémentaires : Edge, micro-bases de données, etc.
•  Sécurité et conformité de l’architecture

Retours d’expériences

• Les premières entreprises à avoir mis en place une démarche Data Mesh Difficultés rencontrées, et comment les contourner
• Bénéfices obtenus, et comment les mesurer
• Déployer votre premier MVP Data Mesh dans toute l’entreprise
• Impact de la mise en œuvre du Data Mesh sur l’acculturation à la donnée dans l’entreprise
  • L’avenir du data mesh : vers les data spaces et la monétisation des données ?