Unity Catalog
Product
Die Governance-Schicht von Databricks, die zentrale Zugriffskontrolle, Auditing, Lineage und Discovery über Workspaces hinweg bereitstellt.
Omawiane również
W odcinku na temat Unity Catalog pojawiają się też: Azure Databricks, Delta Lake, Apache Spark i Uczenie maszynowe.
Opis
Unity Catalog ist die Governance-Schicht von Databricks. In Azure Databricks wird es als einheitliche Governance-Schicht für Daten und KI beschrieben. Sobald es für einen Workspace aktiviert ist, wirkt es unterhalb aller Daten- und KI-Interaktionen dort. Es stellt zentrale Zugriffskontrolle, Auditing, Lineage und Discovery über Workspaces hinweg bereit, sodass Regeln darüber, wer Daten sehen oder ändern darf, an einer einzigen Stelle definiert werden und nicht in jedem Workspace wiederholt werden müssen.
Die Dokumentation beschreibt, wie das in der Praxis funktioniert. Unity Catalog kontrolliert den Zugriff, sobald eine Tabelle abgefragt oder ein Modell aufgerufen wird. Es verfolgt Lineage automatisch und protokolliert Aktivitäten für Auditing. Der Zugriff auf den Katalog ist über Catalog Explorer, SQL, die Databricks CLI und REST-APIs möglich. Alles, was verwaltet wird, ist ein sicherungsfähiges Objekt (Securable), und Berechtigungen auf diese Objekte werden Benutzern, Dienstprinzipalen oder Gruppen erteilt. Tabellen, Ansichten, Volumes, Funktionen und Modelle sind in einem dreistufigen Namensraum organisiert, der aus Katalog, Schema und dem Objekt selbst besteht.
Für Speicherentscheidungen wichtig ist die Unterscheidung zwischen verwalteten und externen Objekten. Tabellen und Volumes können verwaltet sein; in diesem Fall übernimmt Unity Catalog neben der Governance auch den Speicher-Lebenszyklus. Sie können auch extern sein; dann übernimmt Unity Catalog nur die Governance, und der Speicher bleibt außerhalb seiner Lebenszyklusverwaltung. Die Wahl zwischen beiden ist eine typische Designentscheidung, wenn Daten bereits in bestehenden Speicherorten liegen.
Die in der Microsoft-Learn-Dokumentation genannten Funktionsbereiche gehen über einfache Berechtigungen hinaus. Dazu gehören Zugriffskontrolle mit attributbasierten Richtlinien sowie Zeilen- und Spaltenfiltern, Discovery, Lineage, Auditprotokolle, die als Systemtabelle bereitgestellt werden, Datenklassifizierung, Überwachung der Datenqualität, Datenfreigabe über Organisationen und Clouds hinweg sowie KI-Governance. Das heißt, eine Schicht deckt sowohl analytische Daten als auch KI-Assets wie Modelle ab, statt sie als getrennte Governance-Probleme zu behandeln.
Zur Verfügbarkeit: Unity Catalog wird für Workspaces, die nach November 2023 erstellt wurden, automatisch aktiviert. Früher erstellte Workspaces müssen aktualisiert werden, um es zu nutzen. Die Dokumentation weist außerdem darauf hin, dass es eine Open-Source-Implementierung von Unity Catalog gibt, und verweist auf eine separate Seite mit Anforderungen und Einschränkungen, die vor der Planung einer Einführung geprüft werden sollten.
Die M365.FM-Episode "Azure Databricks - Simply Explained" ordnet Unity Catalog in ihren Überblick über die Plattform ein. Ihre Gliederung behandelt, was Azure Databricks ist, warum es die Lakehouse-Idee gibt, Apache Spark, Notebooks, Cluster und Delta Lake, und fasst danach "Workspaces, Accounts, and Unity Catalog" als ein Thema zusammen. Die Episode endet außerdem mit Hinweisen, wann Databricks, Fabric oder Synapse zu verwenden sind. In diesem Rahmen erklärt Unity Catalog, wie mehrere Workspaces unter einem Account ein konsistentes Governance-Modell teilen können, was beim Vergleich von Databricks mit anderen Microsoft-Datenplattformen relevant ist.
Für Menschen, die nach dem Begriff suchen, lautet die Kurzfassung: Unity Catalog beantwortet die Fragen, wer auf welche Daten oder welches Modell zugreifen kann, woher diese Daten stammen, wer sie genutzt hat und wie sie gefunden oder geteilt werden können. Da es dort durchgesetzt wird, wo Tabellen abgefragt oder Modelle aufgerufen werden, und da Lineage- und Auditeinträge automatisch entstehen, bildet es die Grundlage der Governance in Azure Databricks und ist kein optionales Add-on.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Typ | Product |
|---|
Często zadawane pytania
Questions marked with AI were written with AI from the facts on this page.
Was ist Unity Catalog in Azure Databricks? (AI)
Unity Catalog ist die einheitliche Governance-Schicht für Daten und KI in Azure Databricks. Es kontrolliert den Zugriff, verfolgt Lineage automatisch und protokolliert Aktivitäten für Auditing über Workspaces hinweg.
Wie sind Objekte in Unity Catalog organisiert? (AI)
Tabellen, Ansichten, Volumes, Funktionen und Modelle nutzen einen dreistufigen Namensraum aus Katalog, Schema und Objekt. Berechtigungen auf diese sicherungsfähigen Objekte werden Benutzern, Dienstprinzipalen oder Gruppen erteilt.
Ist Unity Catalog standardmäßig aktiviert? (AI)
Laut Microsoft Learn ist es für Workspaces, die nach November 2023 erstellt wurden, automatisch aktiviert. Früher erstellte Workspaces müssen aktualisiert werden, um es zu nutzen.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Eksperci i firmy w tym temacie
Nikt jeszcze nie wskazał tego tematu. Dodaj go do swojego profilu.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: