Démystifier l’architecture de Microsoft Fabric : Lakehouse ou Warehouse
Par Mirko Peters ·
Bienvenue de nouveau sur le blog ! Si vous suivez nos derniers épisodes de podcast, vous savez que nous explorons en profondeur l’univers en pleine évolution des plateformes de données et de l’analytique moderne…
Traduit automatiquement par IA à partir de l'article original. Lire l'original en anglais
![Cover: Microsoft Fabric End-to-End: From Raw Data to Business Decisions with Amit Chandak [MVP]](https://d3wo5wojvuv7l.cloudfront.net/t_rss_itunes_square_1400/images.spreaker.com/original/bfbd20ad8a411469d5aad58275f070a5.jpg)
Bienvenue sur le blog ! Si vous suivez nos récents épisodes de podcast, vous savez que nous nous plongeons en profondeur dans l’univers en pleine évolution des plateformes de données, de l’analytique moderne et de l’architecture d’entreprise. Concevoir un environnement analytique n’a jamais été une démarche unique, mais avec l’arrivée de Microsoft Fabric, les organisations disposent d’un environnement unifié qui réunit l’ingénierie des données, l’entrepôt de données, la business intelligence et l’IA sous une même enveloppe opérationnelle. Toutefois, disposer d’une plateforme unifiée ne signifie pas pour autant qu’il n’y ait plus de choix d’architecture à faire. L’une des toutes premières décisions que doivent prendre les architectes de données et les équipes d’ingénierie au début de leur parcours Microsoft Fabric consiste à choisir entre un Lakehouse et un Data Warehouse. Note: the [[1]] segment above duplicates [[D]] (the input was identical); I've kept the translation consistent in both.
Ce choix d’architecture constitue le fondement de la manière dont votre organisation stocke, traite et met à disposition ses données. Faut-il tirer parti de la souplesse et de la nature open source d’un Lakehouse, ou rester sur la puissance structurée et relationnelle d’un Data Warehouse traditionnel ? Pour bien maîtriser cette décision, nous devons passer en revue les différentes couches de stockage de Microsoft Fabric, analyser la manière dont les compétences des équipes entrent en ligne de compte et voir comment des formats de données modernes comme Delta Lake font le lien entre ces deux approches. Plongeons ensemble dans l’architecture de Microsoft Fabric pour en démystifier le fonctionnement et découvrir comment choisir la voie la plus adaptée à votre organisation.
Présentation des options de stockage de Microsoft Fabric
Avant Microsoft Fabric, la construction d’une plateforme de données complète impliquait souvent d’assembler des services distincts dans Azure : mise en place d’Azure Data Lake Storage, provisionnement de pools SQL dédiés, gestion de clusters Azure Databricks et connexion d’espaces de travail Power BI. Si cette approche était puissante, elle engendrait fréquemment des silos de données, des copies redondantes d’informations et une charge d’administration importante pour gérer la sécurité et les ressources de calcul à travers des services disparates.
Microsoft Fabric résout ce problème de fragmentation en introduisant OneLake, un lac de données unifié, multilocataire et basé sur SaaS, qui joue le rôle d’OneDrive pour les données de votre organisation. Tout ce qui se trouve dans Fabric (qu’il s’agisse d’un Lakehouse, d’un Data Warehouse, d’une base de données KQL ou d’un modèle sémantique Power BI) repose sur OneLake. Au sein de cette couche de stockage unifiée, les organisations peuvent choisir la manière dont elles structurent leurs données analytiques et interagissent avec elles. Les deux moteurs principaux de stockage et d’interrogation des données analytiques dans Fabric sont le Lakehouse et le Data Warehouse. Bien qu’ils partagent des technologies fondamentales communes, ils sont conçus pour des charges de travail, des profils d’utilisateurs et des paradigmes opérationnels différents.
Comprendre le Lakehouse de Microsoft Fabric
Le Lakehouse de Microsoft Fabric est une architecture de données conçue pour combiner les meilleurs éléments des lacs de données et des entrepôts de données au sein d’un même environnement. Il est optimisé à la fois pour les charges de travail d’ingénierie des données reposant sur des fichiers et pour les requêtes analytiques structurées, ce qui en fait un outil privilégié des ingénieurs données et des data scientists.
Au fond, un Lakehouse dans Fabric gère les fichiers et les dossiers comme un lac de données traditionnel, mais il ajoute une couche transactionnelle essentielle grâce au format open source Delta Parquet. Vous pouvez ainsi stocker des données non structurées (images, fichiers PDF, fichiers audio ou journaux JSON bruts, par exemple) aux côtés de données tabulaires structurées et semi-structurées. Par ailleurs, le Lakehouse s’intègre nativement à Apache Spark. Si votre équipe s’appuie sur des notebooks PySpark, des transformations de données distribuées et des travaux d’ingénierie des données lourds à grande échelle, le Lakehouse constitue le terrain de jeu idéal. Il permet aux professionnels de la donnée d’exécuter des transformations complexes, d’entraîner des modèles de machine learning et de construire des pipelines de données robustes selon des méthodologies orientées code.
Comprendre le Data Warehouse de Microsoft Fabric
À l’autre extrémité du spectre se trouve le Data Warehouse de Microsoft Fabric. Si votre organisation utilise depuis des années des entrepôts de données d’entreprise traditionnels, SQL Server ou des bases de données analytiques dédiées, le Data Warehouse Fabric vous paraîtra immédiatement familier et confortable.
Contrairement au Lakehouse, qui combine différents formats de stockage et accepte les fichiers non structurés, le Fabric Data Warehouse se concentre strictement sur les données relationnelles et les tables structurées. Il est conçu pour offrir des capacités de requêtage T-SQL à hautes performances. Lorsque vous provisionnez un Warehouse dans Fabric, vous bénéficiez d’un modèle de stockage et de calcul découplés, optimisé pour les opérations relationnelles, les jointures complexes et la production de rapports de business intelligence. Les administrateurs de bases de données, les développeurs SQL et les analystes de données peuvent écrire des scripts T-SQL standard, gérer les schémas de bases de données, créer des vues et appliquer des procédures stockées, sans avoir besoin d’apprendre Spark ni de gérer des configurations de cluster. Il offre la gouvernance, la sécurité et la cohérence transactionnelle prévisibles qu’attendent les équipes data traditionnelles d’un entrepôt de données de niveau entreprise.
Principales différences d’architecture : Lakehouse vs. Warehouse
Lorsque l’on compare côte à côte Microsoft Fabric Lakehouse et le Data Warehouse, les différences ne se limitent pas au choix entre Spark et T-SQL. Comprendre ces distinctions architecturales aide les équipes à éviter la surconception ou le choix d’un modèle de stockage qui va à l’encontre de leurs habitudes opérationnelles.
D’abord, considérez les types de données que privilégie chaque option. Un Lakehouse gère toutes les formes de données, des documents bruts non structurés aux tables Delta structurées. Un Data Warehouse est strictement optimisé pour les données relationnelles structurées et semi-structurées. Ensuite, examinez les moteurs de calcul. Le Lakehouse s’appuie largement sur Apache Spark pour le traitement des données, tandis que le Data Warehouse utilise un moteur SQL à traitement massivement parallèle (MPP). Enfin, regardez la manière dont les données sont gérées. Le Lakehouse offre un accès ouvert aux fichiers sous-jacents, ce qui permet aux data scientists de lire directement les fichiers Parquet à l’aide d’outils externes ou de bibliothèques Python. Le Warehouse abstrait plus étroitement le stockage sous-jacent et présente une interface de base de données SQL relationnelle épurée, optimisée pour la production de rapports analytiques et les performances des requêtes concurrentes.
Aligner les compétences de l’équipe sur les choix de stockage
Une décision d’architecture ne doit jamais être prise dans le vide : elle doit tenir compte des compétences réelles de votre équipe. La technologie n’est aussi efficace que les personnes qui la mettent en œuvre.
Si votre organisation compte un grand nombre de développeurs Power BI, d’administrateurs de bases de données traditionnels et d’analystes SQL qui maîtrisent le T-SQL, les contraindre à adopter une architecture Lakehouse très orientée Spark risque d’introduire une courbe d’apprentissage inutile et de ralentir la livraison. Dans ce scénario, le Fabric Data Warehouse offre une rampe d’intégration accueillante, permettant à vos talents SQL d’exploiter immédiatement leur expertise actuelle. À l’inverse, si votre organisation emploie des ingénieurs et des data scientists maîtrisant Python, Scala et les frameworks de calcul distribué, le Lakehouse leur offre la souplesse de programmation et la puissance de calcul nécessaires pour construire des pipelines de transformation avancés et des solutions d’IA. Choisir la bonne option de stockage dans Fabric implique d’évaluer honnêtement les capacités de votre équipe et de concevoir une architecture qui les valorise, plutôt que de les mettre à l’écart.
Gérer les différents types de données et charges de travail
Les exigences de charge de travail et la diversité des données sont souvent les facteurs déterminants lorsqu’il faut choisir entre un Lakehouse et un Data Warehouse dans Microsoft Fabric. Toutes les données ne se présentent pas sagement organisées en tables relationnelles, et toutes les analyses ne se ressemblent pas.
Si vos pipelines d’ingestion absorbent de gros volumes de télémétrie brute, de flux de capteurs IoT, de fichiers texte non structurés et de journaux système, le Lakehouse constitue la zone d’atterrissage naturelle. Il vous permet de charger rapidement les données brutes dans la couche Bronze d’une architecture Medallion, de les traiter à l’aide de notebooks Spark, puis de les affiner en tables analytiques propres. En revanche, si votre charge de travail principale consiste à alimenter des tableaux de bord de business intelligence à forte concurrence avec des modèles de données dimensionnels propres et hautement structurés, le Data Warehouse se distingue. Son moteur T-SQL est finement optimisé pour exécuter des requêtes analytiques complexes avec une faible latence, garantissant aux utilisateurs métier des réponses rapides et fiables à partir de leurs modèles sémantiques Power BI.
Tirer parti du format Delta pour un stockage unifié
L’un des choix d’architecture les plus judicieux de Microsoft dans la conception de Fabric est l’adoption, pour toutes les tables structurées, du format open source Delta Parquet. Ce choix contribue fortement à estomper la frontière entre Lakehouses et Warehouses.
Qu’il s’agisse d’ingérer et de traiter des données dans un Lakehouse Fabric avec PySpark, ou de les charger dans un Data Warehouse Fabric avec T-SQL, les fichiers physiques sous-jacents stockés dans OneLake sont au format de tables Delta. Ce standard de stockage ouvert apporte aux deux environnements les transactions ACID, le voyage dans le temps (time travel) et de hautes performances. Dans la mesure où le Lakehouse comme le Warehouse savent lire et écrire dans des tables Delta, les organisations n’ont plus à craindre un enfermement propriétaire lié au stockage. Concrètement, un ingénieur de données peut préparer des données avec Spark dans un Lakehouse, tandis qu’un développeur SQL peut interroger ces mêmes tables avec T-SQL dans un Warehouse, sans créer de copies physiques dupliquées des données.
Bonnes pratiques pour choisir la bonne approche au sein de votre organisation
Lors de la planification de votre déploiement Microsoft Fabric, comment décider s’il faut mettre en place un Lakehouse, un Warehouse ou une combinaison des deux ? Les organisations qui réussissent suivent généralement quelques bonnes pratiques fondamentales lors de la conception de leurs environnements Fabric.
D’abord, adoptez une approche hybride lorsque c’est nécessaire. Microsoft Fabric est conçu pour vous permettre d’utiliser les Lakehouses et les Warehouses côte à côte, au sein de la même structure de locataire et d’espaces de travail. Vous pouvez utiliser un Lakehouse pour l’ingestion de données brutes, les transformations lourdes d’ingénierie des données et les charges de travail de science des données, tandis que les data marts de reporting en aval et les dimensions conformes à l’échelle de l’entreprise sont hébergés dans un Data Warehouse. Ensuite, exploitez les raccourcis OneLake pour éviter les déplacements et les duplications inutiles de données entre vos domaines. Enfin, concevez toujours en pensant à vos consommateurs : évaluez les types de données collectées, les compétences des personnes qui transforment les données et les exigences de performance des utilisateurs métier qui exploitent les informations finales.
Pour entendre une analyse pratique et concrète de la manière dont ces briques architecturales s’articulent, de l’ingestion des données brutes jusqu’à la prise de décision au niveau de la direction, écoutez notre épisode de podcast associé, Microsoft Fabric End-to-End: From Raw Data to Business Decisions with Amit Chandak [MVP]. Dans cet épisode, Amit explique comment les organisations peuvent exploiter OneLake, arbitrer entre Lakehouse et Warehouse, optimiser les transformations et construire des solutions analytiques évolutives qui renforcent aussi bien les décideurs humains que les expériences pilotées par l’IA.