Le sujet d'aujourd'hui est quelque chose dont presque tout le monde travaillant avec les données a entendu parler, mais que peu de gens comprennent vraiment. Microsoft fabrique One Lake. Vous l'avez probablement vu dans les campagnes marketing de Microsoft ou entendu quelqu'un le qualifier de lac de données unifié pour toute votre organisation. Mais qu'est-ce que cela signifie réellement ? S'agit-il simplement d'un autre compartiment de stockage ou est-ce quelque chose de fondament différent ? Voici la définition la plus simple. One Lake est un lac de données logique unique qui se trouve au cœur de Microsoft Fabrique. Chaque service fabrique, Lake House, Entrepôt, Event House, Power BI, il stocke ses données. Et la règle clé est simple. Une copie physique des données accessibles par de nombreux moteurs différents. Fini la copie de données d'un outil à un autre. Fini de se demander quelle version d'un rapport est la bonne. A la fin de cet épisode, vous comprendrez ce qu'est réellement One Lake, comment il élimine la duplication des données et pourquoi il change la donne pour Power BI, l'ingénierie des données et l'EI. Commençons donc par le problème que One Lake a été conçu pour résoudre. Le problème. Chaque département a son propre lac. Imaginez que vous travaillez dans une entreprise de Timeway. Votre équipe commerciale utilise un système CRM pour suivre les affaires. Votre équipe financière gère l'ERP pour la facturation. Votre équipe marketing extrait des données de leurs outils de campagne. Et votre équipe d'ingénierie des données gère un entrepôt de données pour le reporting. Voici ce à quoi je veux que vous réfléchissiez. Combien de copies des mêmes données clients existent à travers ces systèmes ? Dans la plupart des entreprises, la réponse est 4 ou 5. Le CRM les stocke. L'ERP les stocke. Le marketing les exporte dans son outil d'analyse. Tel qu'en finance crée une feuille de calcul à partir de l'ERP. Et l'équipe d'ingénierie des données les copie dans l'entrepôt pour que Power BI puisse les lire. C'est le même identifiant client, le même montant de vente, la même date de facture stockée à 5 endroits différents. Ce n'est pas parce que les gens sont négligents. C'est parce que les anciens outils ne communiquaient pas entre eux. Si vous vouliez exécuter un rapport combinant les données de vente du CRM et les données financières de l'ERP, vous deviez copier les deux dans quelque chose capable de les lire ensemble. Cela signifie construire des pipelines, planifier des tâches et espérer que rien ne casse pendant la nuit. Les coûts cachés s'accumulent rapidement. Les factures de stockage augmentent car vous payez 5 fois pour les mêmes données. Les rapports deviennent obsolètes car une copie est mise à jour et une autre non. Puis quelqu'un pose la question à laquelle personne ne veut répondre. Quelle est la bonne version ? Cette confusion érode la confiance envers les données. Et une fois la confiance perdue, les gens cessent complètement d'utiliser la plateforme d'analyse. Microsoft a examiné ce chaos et a posé une question simple. Et si vous pouviez avoir une seule copie de vos données que chaque outil pourrait lire ? Pas de duplication, pas de confusion, une source unique de vérité. Qu'est-ce que One Lake exactement ? One Lake est la réponse de Microsoft à cette question. C'est un lac de données logique unique pour toute votre organisation. La phrase clé à retenir est celle-ci. Un lac par tenant, pas un lac par équipe. Sous le capot, One Lake est construit sur Azure Data Lake Storage N2. Même technologie, même API, mais Microsoft l'a repackagé en tant que service SaaS entièrement géré. Entièrement. Vous ne créez pas de compte de stockage, vous ne gérez pas de conteneur, vous ne configurez pas de clé d'accès, vous l'utilisez simplement. Considérez cela comme OneDrive pour les données de votre entreprise. OneDrive vous offre un seul emplacement pour vos fichiers personnels, documents, photos et feuilles de calcul. Vous ne vous souciez pas de savoir où ils sont stockés physiquement ? Vous les ouvrez et vous travaillez. One Lake fait la même chose, mais pour les données de votre organisation. Il offre à chaque équipe, chaque projet, chaque charge de travail, un pool de stockage partagé. Voici maintenant une distinction importante. One Lake est logique, pas physique. En arrière-plan, il peut s'étendre sur plusieurs comptes de stockage dans différentes régions. Mais pour vous, il ressemble à un pool géant. Peu importe le serveur qui détient les fichiers, vous voyez simplement vos données. Chaque service fabrique, stocke ses données ici. Lorsque vous créez un Lake House, les données résident dans One Lake. Lorsque vous construisez un entrepôt, les tables résident dans One Lake. Lorsque vous exécutez un rapport Power BI, s'il utilise le mode Direct Lake, il lit directement depuis One Lake. Même Event House, le magasin d'analyse en temps réel, peut exposer ses données dans One Lake. Tout pointe vers le même endroit et le format de données par défaut est... Delta Parquet. C'est un format ouvert, pas un enfermement propriétaire Microsoft. Databricks l'utilise, les moteurs Spark le lisent. Des outils comme Pandas et Polars peuvent travailler avec. Ainsi, vos données ne sont pas piégées dans le monde Microsoft. C'est ouvert et portable, mais la vraie magie n'est pas le stockage, c'est la façon dont One Lake élimine le besoin de copier les données. Le principe de la copie unique. Voici l'idée centrale qui rend One Lake différent de tout ce qui existait auparavant. C'est ce qu'on appelle le principe de copie unique, et c'est simple. Une copie physique des données, accessible par de nombreux moteurs différents. Laissez-moi vous montrer ce que cela signifie. Imaginez que vous ayez une table de données de vente dans One Lake. Un ingénieur de données exécute un notebook Spark pour la nettoyer. Un analyste métier écrit une requête TSQL pour l'agréger. Et un rapport Power BI l'allie pour un tableau de bas. Les trois se produisent en même temps. Les trois lisent le même fichier. Personne n'a rien copié. Dans l'ancien monde, cela n'arrivait jamais. Copiez les données du lac de données vers un entrepôt. Ensuite, vous les copiez de l'entrepôt vers un modèle sémantique. Puis vous actualisez le rapport. Cela représente trois copies des mêmes données. Chacune consommant du temps et de l'espace de stockage. Et si une étape échouait, vos chiffres étaient faux ? Une seule copie élimine tout cela. Les données résident dans One Lake une seule fois. Les moteurs Spark, SQL, Power BI les lisent tous directement. Aucun mouvement. Aucune duplication. Aucun problème de synchronisation. Les économies de coût sont réelles. Moins de stockage car vous ne payez pas cinq fois pour les mêmes données. Moins d'ETL car vous ne construisez pas de pipeline juste pour déplacer des données entre les outils. Moins d'éléments à maintenir car il n'y a rien à casser entre les copies. Et le gain en fraîcheur des données est énorme. Une copie signifie une source unique de vérité. Lorsque les données sont mises à jour, chaque rapport voit la mise à jour immédiatement. Fini les questions du type, ce rapport utilise-t-il les données de la semaine dernière ou de cette semaine ? Ce sont toujours les mêmes données partout. Vous vous demandez peut-être, n'est-ce pas juste Azure Data Lake Storage ? Pas exactement. ADLS est un service pareil. Vous créez des comptes de stockage. Vous gérez des conteneurs. Vous configurez des clés d'accès. Vous décidez quelle région contient. C'est flexible, mais c'est aussi du travail. One Lake est un service sassin. Vous ne créez pas de compte de stockage. Vous ne gérez pas de conteneur. Vous l'utilisez simplement. L'infrastructure sous-jacente est gérée pour vous. Une copie est idéale pour les données qui résident à l'intérieur de fabrique. Mais qu'en est-il des données qui se trouvent ailleurs ? Les raccourcis. Laissez les données là où elles se trouvent. C'est là que les raccourcis entrent en jeu. Un raccourci est un pointeur virtuel. Considérez cela comme un lien symbolique pour votre lac de données. Il vous permet d'accéder aux données qui vivent physiquement en dehors de One Lake sans les déplacer, ni les copier. Voici comment cela fonctionne. Vous créez un raccourci dans un lake house ou un entrepôt. Et ce raccourci pointe vers un fichier ou un dossier ailleurs. Cela pourrait être dans un compte Azure Data Lake Storage, un bucket Amazon S3, Google Cloud Storage ou même un autre espace de travail fabrique. Les données restent là où elles sont mais depuis fabrique elles semblent être directement dans One Lake. Laissez-moi vous donner un scénario réel. Votre équipe commerciale effectue ses analyses sur AWS depuis des années. Ainsi toutes leurs données se trouvent dans des buckets S3. Votre équipe financière utilise Fabrique et Power BI et elle doit combiner les données commerciales avec les données financières. Dans l'ancien monde il fallait tout exporter depuis S3, le charger sur Azure, crée un pipeline pour le synchroniser et espérer que rien ne casse. Avec les raccourcis vous créez un lien direct depuis votre lake house vers le bucket S3. Les données restent sur AWS mais le service financier peut les interroger dans Power BI comme si elles étaient dans One Lake. Aucun export, aucun transfert, aucun pipeline à gérer. Les raccourcis fonctionnent aussi en interne. Si une équipe dispose d'un jeu de données organisé dans son espace de travail, une autre peut simplement créer un raccourci vers celui-ci. Aucune copie, aucune duplication. Les données restent dans l'espace de travail d'origine et tout le monde s'y réfère simplement. Il y a une limitation importante à comprendre. Les raccourcis ne copiant pas les données, les performances de requêtes dépendent de la vitesse du système source. Si vous créez un raccourci vers un bucket S3 à l'autre bout du monde, vos requêtes seront plus lentes que si les données étaient locales. Pour les données fréquemment consultées, envisagez plutôt leur mise en miroir. Cela nous amène à notre sujet suivant, la mise en miroir. Intégrez automatiquement les données de base de données. Les raccourcis gèrent très bien le stockage de fichiers externes, mais qu'en est-il de vos bases de données existantes ? Celles qui font tourner votre ERP, votre CRM ou vos applications opérationnelles. C'est là qu'intervient la mise en miroir. La mise en miroir permet d'importer des données de base de données vers OneLake en tant qu'asie réelle sans créer le moindre pipeline. Vous indiquez votre base de données à fabrique qui s'occupe du reste en créant une copie incrémentielle automatique au format delta parquet dans OneLake et en la tenant à jour selon les modifications de la source. Les sources prises en charge incluent Azure SQL Database, SQL Server sur site, Cosmos DB et d'autres, Microsoft, en ajoutant régulièrement. Mais le scénario le plus courant concerne vos bases de données stratégiques, celle de votre ERP ou de vos applications métiers. Voici comment cela fonctionne. Vous activez la mise en miroir sur une base et fabrique l'île flux de modification, les insertions, les mises à jour et les suppressions pour répliquer ces changements dans OneLake. La première synchronisation copie l'intégralité du jeu de deux. Ensuite, c'est incrémentiel, seules les lignes modifiées sont transférées. Les données arrivent au format delta parquet, prêtes à être interrogées par n'importe quel moteur fabrique. Voici la différence clé par rapport aux raccourcis. Les raccourcis ne copient pas les données, ils pointent vers elles. La mise en miroir copie réellement les données. Elles résident physiquement dans OneLake et les performances sont rapides, quelle que soit la vitesse de la base de données source. Le compromis est que vous stockez une copie, mais vous bénéficiez d'un accès quasi réel, sans pipeline à construire, sans planification à gérer, sans maintenance à prévoir. Laissez-moi vous donner un cas d'usage concret. Votre entreprise utilise un ERP sur SQL Server qui contient toutes vos données financières, factures, paiements et grands livres. Auparavant, vous deviez créer un job ETL qui s'exécutait chaque nuit pour extraire, transformer et charger les données dans un entrepôt. Ce job tombait en panne, quelqu'un devait le réparer et les données avaient toujours au moins une journée de retard. Avec le mirroring, vous l'activez une fois et fabrique-réplique les données dans OneLake en continu. Vos rapports Power BI lisent directement dans OneLake et voient des données vieilles de quelques minutes, pas d'heure ou de jour, sans jamais toucher au pipeline. Désormais, vous avez des données dans OneLake provenant de raccourcis, du mirroring et de chargement direct. Comment les utiliser concrètement ? OneLake et les trois magasins de données. OneLake est la couche de stockage, l'endroit où résident tous vos fichiers. Mais attention, vous ne travaillez pas directement avec OneLake. Vous interagissez avec, via ce que nous appelons des magasins de données. Des interfaces offrant différentes manières d'exploiter les mêmes données sous-jacentes. Il existe trois principaux magasins de données, dans Fabrique, Lakehouse, Warehouse et Eventhouse. Ils stockent toutes leurs données dans le même OneLake mais chacun sert un objectif différent. Commençons par le Lakehouse, le magasin de données flexible qui accepte les fichiers comme CSV, JSON et images, ainsi que les tables Delta. Vous l'utilisez pour l'ingénierie des données, le machine learning ou pour réceptionner les données brutes des systèmes sources. C'est un atelier où vous nettoyez, transformez et préparez les données. Si vous construisez une architecture medallion, avec des couches bronze, argent et or, le Lakehouse est l'endroit où cela se passe. Vous pouvez y accéder via des notebooks parcs ou par le point de terminaison d'analyse SQL pour des requêtes en lecture seule. Warehouse, le magasin de données structuré, offre un support complet de lecture et d'écriture TSQL permettant de créer des tables, vues, procédures stockées et fonctions et d'exécuter des instructions insert, update, delete, delete. Il ressemble à une base de données SQL Server traditionnelle car il est conçu pour ceux qui pensent en SQL. Utilisez Warehouse pour créer des rapports BI, effectuer des agrégations complexes ou migrer depuis un entrepôt de données existant. Considérez-le comme la coucheur pour le reporting d'entreprise. Fin, il y a l'Eventhouse, le magasin de données temps réel basé sur le moteur Custo ou la technologie derrière Azure Data Explorer. Il gère les données en streaming, les logs, la télémétrie IoT et les flux de clics. Et les flux de clics qui doivent être interrogés immédiatement. Vous l'interrogez avec SQL, le langage de requête Custo. Et lorsque vous activez la disponibilité OneLake, ces données événementielles deviennent accessibles au Lakehouse et au Warehouse en tant que table Delta. Voici donc ce que vous devez comprendre. Tous les trois stockent leurs données dans le même OneLake. Une table créée dans un Lakehouse peut être relue par une requête Warehouse. Une table dans un Warehouse est accessible depuis un notebook Spark. Les données ingérées dans un Eventhouse peuvent être exposées en tant que table Delta pour Power BI. Ce ne sont pas des bases de données distinctes, mais des vues différentes du même lac de données. Beaucoup de gens se trompent à ce sujet. Ils pensent que Lakehouse, Warehouse et Eventhouse sont des produits concurrents, mais ce n'est pas le cas. Vous utilisez en fait les trois car chacun résout un problème différent. Lakehouse pour l'ingénierie des données, Warehouse pour la BI, Eventhouse pour le temps réel, et ils partagent tous le même stockage. OneLake gère le stockage, les magasins de données gèrent l'accès. Mais qui a accès à quoi ? Sécurité et gouvernance dans OneLake. Comme toutes vos données se trouvent au même endroit, la sécurité devient plus simple. Vous gérez les accès en un seul point plutôt que dans dix systèmes différents. Fini la définition des permissions dans le CRM, puis dans le Warehouse, puis dans Power BI. OneLake vous offre un modèle de sécurité unique pour tout. Au niveau supérieur, vous avez les rôles d'espace de travail. administrateur, membre, contributeur, lecteur, il contrôle qu'il peut travailler dans un espace de travail d'eau. Si quelqu'un est lecteur, il peut voir les éléments, mais ne peut pas les modifier. S'il est administrateur, il contrôle tout. C'est assez simple. Mais vous pouvez aller plus loin. Les rôles de sécurité OneLake permettent de contrôler l'accès au niveau des dossiers, des tables, des colonnes, et même des lignes. Par exemple, la sécurité au niveau des colonnes permet de masquer les informations de salaire à tout le monde, sauf au RH. La sécurité au niveau des lignes permet à un responsable commercial de ne voir que les données de sa région. Et cela fonctionne de la même manière sur tous les magasins de données, car ils reposent tous sur le même OneLake. Il existe également le catalogue OneLake, une vue centrale où vous pouvez voir toutes les données dans tous les espaces de travail. Vous pouvez trouver des jeux de données certifiés, vérifier qu'ils possèdent quoi, et gérer la gouvernance depuis un seul endroit. Il s'intègre à Microsoft Purview pour la classification, les étiquettes de sensibilité et la prévention des pertes de données. Ainsi, si vous devez marquer certaines données comme confidentielles ou hautement restreintes, vous pouvez le faire au niveau du lac, et cela s'applique partout. Et il y a les diagnostics OneLake Capture qui a accédé à quoi et quand, quand. C'est utile pour les audits et contrôles de conformité, et pour répondre à la question qui a touché à ces données la semaine dernière. Il enregistre chaque opération de lecture et d'écriture, et stocke ses journaux sous forme de fichiers JSON dans un lake house, dans un lake. Vous pouvez les analyser avec Spark, SQL ou Power BI. Voici l'idée générale. Un modèle de sécurité unique pour toutes vos données, plutôt que de gérer des règles distinctes pour chaque outil. C'est une simplification majeure pour n'importe quelle organisation. Point clair à retenir. Ce que cela signifie pour vous. Alors qu'est-ce que cela signifie concrètement si vous débutez avec Fabrique aujourd'hui ? Analysons cela ensemble. Si vous construisez une nouvelle plateforme de données, OneLake élimine le besoin d'architecturer des transferts de données complexes. Vous n'avez plus à planifier le flux des données depuis un lac vers un entrepôt, puis vers un modèle. Sémantique. Placez-les simplement dans OneLake et chaque outil y accède directement. OneLake, une seule copie. Toute l'architecture tient là-dedans. Si vous migrez depuis un ancien système, les raccourcis et la mise en miroir vous permettent de laisser les données sur place tout en déplaçant progressivement les charges de travail. Pas besoin de migration brutale. Créez un raccourci vers votre lac de données existant. Mettez en miroir votre base SQL Server et utilisez Fabrique tout en conservant vos anciens systèmes. Vous avancez à votre propre rythme. Voici le changement de mentalité. Arrêtez de penser au stockage par projet. Arrêtez de créer un nouveau lac de données pour chaque nouvelle initiative. Pensez à un lac partagé auquel chaque projet accède. Les données de votre équipe commerciale, de votre service financier, de votre équipe technique, tout réside au même endroit. Il n'envoie simplement que les parties concernées. Pour les utilisateurs de Power BI, les rapports lisent directement les données dans OneLake. Pas d'importations séparées, pas de modèles sémantiques dupliqués. Les données sont à jour car ce sont les mêmes que celles utilisées par les ingénieurs de données. Pour les ingénieurs de données, cela signifie moins de pipelines à construire, maintenir et déboguer. Vous déposez les données une seule fois. Tous les autres ne font que les référencer. L'essentiel est là. OneLake n'est pas juste un énième lac de données. C'est le fondement qui rend Fabrique différent de tout ce qui existait auparavant. C'est la raison pour laquelle vous pouvez arrêter de copier des données et commencer à leur faire confiance. Voilà, c'est tout. OneLake est le lac de données unique de votre organisation basé sur le principe de la copie unique. Une copie physique de données, accessible par n'importe quel outil, équipe ou charge de travail. Fini les duplications, fini la confusion sur la version correcte. Votre mission est simple. Commencez par un raccourci vers une source externe ou mettez une base en miroir. Voyez à quel point cela devient simple quand vous n'avez plus besoin de construire des pipelines juste pour déplacer les données. La plupart des organisations ne feront pas cette transition rapide. Soyez celle qui le fera. Si cet épisode vous a aidé à comprendre OneLake, abonnez-vous à Microsoft Knowledge Nuggets pour plus de contenu fabrique en toute simplicité. Et partagez ceci avec quelqu'un qui gère encore 5 lacs de données, c'est pas. Je vous remerciera plus tard.