Unity Catalog
Product
Слой управління даними Databricks, що забезпечує централізоване керування доступом, аудит, відстеження походження даних (lineage) та пошук по всіх робочих просторах.
Також обговорюють
У випуску на тему Unity Catalog обговорюють також: Azure Databricks, Delta Lake, Apache Spark та Машинне навчання.
Description
Unity Catalog — це рівень управління даними Databricks. В Azure Databricks його описують як уніфікований рівень управління даними та ШІ. Після того як його ввімкнено для робочого простору, він працює на нижчому рівні всіх взаємодій із даними та ШІ в ньому. Він забезпечує централізоване керування доступом, аудит, відстеження походження даних (lineage) і пошук у всіх робочих просторах, тож правила щодо того, хто може бачити або змінювати дані, визначаються в одному місці, а не повторюються в кожному робочому просторі окремо.
Документація описує, як це працює на практиці. Unity Catalog контролює доступ щоразу, коли здійснюється запит до таблиці або викликається модель. Він автоматично відстежує походження даних і фіксує активність для аудиту. Доступ до каталогу можна отримати через Catalog Explorer, SQL, Databricks CLI та REST API. Усе, чим керується, є захищеним об'єктом, а привілеї на ці об'єкти надаються користувачам, службовим принципалам або групам. Таблиці, представлення, томи, функції та моделі організовано в тримірному просторі імен, що складається з каталогу, схеми та самого об'єкта.
Відмінність, яка має значення для рішень щодо зберігання, — це різниця між керованими та зовнішніми об'єктами. Таблиці та томи можуть бути керованими, і тоді Unity Catalog відповідає як за життєвий цикл сховища, так і за управління. Вони також можуть бути зовнішніми, і тоді Unity Catalog відповідає лише за управління, а сховище залишається поза його керуванням життєвим циклом. Вибір між ними — типове проєктне рішення, коли дані вже розміщено в наявних сховищах.
Функціональні сфери, названі в документації Microsoft Learn, виходять за межі базових дозволів. До них належать контроль доступу з політиками на основі атрибутів, фільтри рядків і стовпців, пошук, відстеження походження даних, журнали аудиту, доступні як системна таблиця, класифікація даних, моніторинг якості даних, обмін даними між організаціями та хмарами, а також управління ШІ. Це означає, що один рівень охоплює як аналітичні дані, так і активи ШІ, зокрема моделі, а не розглядає їх як окремі завдання управління.
Щодо доступності: Unity Catalog вмикається автоматично для робочих просторів, створених після листопада 2023 року. Робочі простори, створені раніше, потрібно оновити, щоб вони могли його використовувати. У документації також зазначено, що існує реалізація Unity Catalog з відкритим вихідним кодом, і наведено посилання на окрему сторінку з вимогами та обмеженнями, які слід перевірити перед плануванням впровадження.
Епізод M365.FM «Azure Databricks - Simply Explained» розміщує Unity Catalog у своєму огляді платформи. Його план охоплює те, що таке Azure Databricks, навіщо існує ідея lakehouse, Apache Spark, notebooks, кластери та Delta Lake, а потім об'єднує «Workspaces, Accounts, and Unity Catalog» в одну тему. Епізод також завершується порадами щодо того, коли використовувати Databricks, Fabric або Synapse. У такому контексті Unity Catalog — це частина, що пояснює, як кілька робочих просторів в одному обліковому записі можуть використовувати узгоджену модель управління, що важливо під час порівняння Databricks з іншими платформами даних Microsoft.
Для тих, хто шукає цей термін, коротка відповідь така: Unity Catalog відповідає на питання, хто може отримати доступ до яких даних чи моделі, звідки ці дані походять, хто ними користувався і як їх можна знайти або поділитися ними. Оскільки він застосовується в момент, коли здійснюються запити до таблиць або викликаються моделі, а записи походження даних і аудиту створюються автоматично, він є основою управління в Azure Databricks, а не необов'язковим доповненням.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Що таке Unity Catalog в Azure Databricks? (AI)
Unity Catalog — це уніфікований рівень управління даними та ШІ в Azure Databricks. Він контролює доступ, автоматично відстежує походження даних і фіксує активність для аудиту у всіх робочих просторах.
Як організовано об'єкти в Unity Catalog? (AI)
Таблиці, представлення, томи, функції та моделі використовують тримірний простір імен: каталог, схема та об'єкт. Привілеї на ці захищені об'єкти надаються користувачам, службовим принципалам або групам.
Чи вмикається Unity Catalog за замовчуванням? (AI)
За даними Microsoft Learn, він вмикається автоматично для робочих просторів, створених після листопада 2023 року. Робочі простори, створені раніше, потрібно оновити, щоб вони могли його використовувати.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: