Unity Catalog
Produit
La couche de gouvernance de Databricks qui assure un contrôle d'accès centralisé, l'audit, la traçabilité des données (lineage) et la découverte à travers les espaces de travail.
Également abordés
L’épisode consacré à Unity Catalog aborde aussi Azure Databricks, Delta Lake, Apache Spark et Apprentissage automatique.
Description
Unity Catalog est la couche de gouvernance de Databricks. Dans Azure Databricks, il est présenté comme la couche de gouvernance unifiée pour les données et l'IA. Une fois activé pour un espace de travail, il fonctionne en dessous de toutes les interactions avec les données et l'IA de cet espace. Il assure un contrôle d'accès centralisé, l'audit, la traçabilité (lineage) et la découverte à travers les espaces de travail, de sorte que les règles déterminant qui peut voir ou modifier les données sont définies à un seul endroit au lieu d'être répétées dans chaque espace de travail.
La documentation décrit le fonctionnement concret. Unity Catalog contrôle l'accès chaque fois qu'une table est interrogée ou qu'un modèle est appelé. Il suit automatiquement la traçabilité et enregistre l'activité à des fins d'audit. L'accès au catalogue est disponible via Catalog Explorer, SQL, la CLI Databricks et les API REST. Tout élément gouverné est un objet sécurisable, et les privilèges sur ces objets sont accordés à des utilisateurs, des principaux de service ou des groupes. Les tables, vues, volumes, fonctions et modèles sont organisés selon un espace de noms à trois niveaux composé d'un catalogue, d'un schéma et de l'objet lui-même.
Une distinction importante pour les décisions de stockage est celle entre objets gérés et objets externes. Les tables et les volumes peuvent être gérés, auquel cas Unity Catalog prend en charge le cycle de vie du stockage ainsi que la gouvernance. Ils peuvent aussi être externes, auquel cas Unity Catalog n'assure que la gouvernance et le stockage reste en dehors de la gestion de son cycle de vie. Choisir entre les deux est une décision de conception typique lorsque les données se trouvent déjà dans des emplacements de stockage existants.
Les domaines fonctionnels nommés dans la documentation Microsoft Learn vont au-delà des autorisations de base. Ils comprennent le contrôle d'accès avec des stratégies basées sur les attributs et des filtres de lignes et de colonnes, la découverte, la traçabilité, les journaux d'audit exposés sous forme de table système, la classification des données, la surveillance de la qualité des données, le partage de données entre organisations et entre clouds, ainsi que la gouvernance de l'IA. Cela signifie qu'une seule couche couvre à la fois les données analytiques et les actifs d'IA, tels que les modèles, plutôt que de les traiter comme deux problèmes de gouvernance distincts.
Concernant la disponibilité, Unity Catalog est activé automatiquement pour les espaces de travail créés après novembre 2023. Les espaces de travail créés antérieurement doivent être mis à niveau pour l'utiliser. La documentation signale également qu'une implémentation open source d'Unity Catalog existe et renvoie vers une page distincte consacrée aux prérequis et aux limitations, à consulter avant de planifier un déploiement.
L'épisode M365.FM "Azure Databricks - Simply Explained" place Unity Catalog dans son aperçu de la plateforme. Son plan couvre ce qu'est Azure Databricks, la raison d'être de l'idée de lakehouse, Apache Spark, les notebooks, les clusters et Delta Lake, puis regroupe "Workspaces, Accounts, and Unity Catalog" sous un même sujet. L'épisode se termine également par des conseils sur le choix entre Databricks, Fabric ou Synapse. Dans ce cadre, Unity Catalog est la partie qui explique comment plusieurs espaces de travail rattachés à un même compte peuvent partager un modèle de gouvernance cohérent, ce qui est pertinent lorsqu'on compare Databricks à d'autres plateformes de données Microsoft.
Pour les personnes qui recherchent ce terme, la version courte est que Unity Catalog répond aux questions suivantes : qui peut accéder à quelles données ou à quel modèle, d'où proviennent ces données, qui les a utilisées, et comment elles peuvent être trouvées ou partagées. Parce qu'il est appliqué au moment où les tables sont interrogées ou les modèles appelés, et parce que les enregistrements de traçabilité et d'audit sont générés automatiquement, il constitue la base de la gouvernance dans Azure Databricks plutôt qu'un complément facultatif.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Produit |
|---|
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Qu'est-ce qu'Unity Catalog dans Azure Databricks ? (IA)
Unity Catalog est la couche de gouvernance unifiée pour les données et l'IA dans Azure Databricks. Il contrôle l'accès, suit automatiquement la traçabilité et enregistre l'activité à des fins d'audit à travers les espaces de travail.
Comment les objets sont-ils organisés dans Unity Catalog ? (IA)
Les tables, vues, volumes, fonctions et modèles utilisent un espace de noms à trois niveaux : catalogue, schéma et objet. Les privilèges sur ces objets sécurisables sont accordés à des utilisateurs, des principaux de service ou des groupes.
Unity Catalog est-il activé par défaut ? (IA)
Selon Microsoft Learn, il est activé automatiquement pour les espaces de travail créés après novembre 2023. Les espaces de travail créés avant cette date doivent être mis à niveau pour l'utiliser.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: