M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions m365con.net

Unity Catalog

Product

Слой управления Databricks, который обеспечивает централизованный контроль доступа, аудит, отслеживание происхождения данных (lineage) и поиск по рабочим областям.

◆ PRODUCTUnity CatalogM365.FM
Title graphic: Unity Catalog (Product)

Также обсуждаются

В выпуске на тему Unity Catalog обсуждаются также: Azure Databricks, Delta Lake, Apache Spark и Машинное обучение.

Description

Unity Catalog — это слой управления Databricks. В Azure Databricks его описывают как единый слой управления данными и ИИ. После включения для рабочей области он работает в основе всех операций с данными и ИИ в ней. Он обеспечивает централизованный контроль доступа, аудит, отслеживание происхождения данных (lineage) и поиск по рабочим областям, поэтому правила о том, кто может видеть или изменять данные, задаются в одном месте, а не повторяются в каждой рабочей области.

Документация описывает, как это работает на практике. Unity Catalog контролирует доступ всякий раз, когда выполняется запрос к таблице или вызывается модель. Он автоматически отслеживает lineage и фиксирует активность для аудита. Доступ к каталогу есть через Catalog Explorer, SQL, Databricks CLI и REST API. Всё, что находится под управлением, является защищаемым объектом, а привилегии на эти объекты предоставляются пользователям, service principal или группам. Таблицы, представления, тома, функции и модели организованы в трёхуровневое пространство имён, состоящее из каталога, схемы и самого объекта.

Для решений о хранении важно различие между управляемыми и внешними объектами. Таблицы и тома могут быть управляемыми; в этом случае Unity Catalog управляет жизненным циклом хранилища наравне с управлением доступом. Они также могут быть внешними; тогда Unity Catalog отвечает только за управление доступом, а хранилище остаётся вне его управления жизненным циклом. Выбор между этими вариантами — типичное проектное решение, когда данные уже находятся в существующих хранилищах.

Функциональные области, перечисленные в документации Microsoft Learn, выходят за рамки базовых разрешений. Они включают контроль доступа с политиками на основе атрибутов и фильтрами строк и столбцов, поиск, lineage, журналы аудита, доступные как системная таблица, классификацию данных, мониторинг качества данных, обмен данными между организациями и облаками, а также управление ИИ. Это означает, что один слой охватывает как аналитические данные, так и ИИ-активы, например модели, вместо того чтобы рассматривать их как отдельные задачи управления.

По доступности: Unity Catalog включается автоматически для рабочих областей, созданных после ноября 2023 года. Рабочие области, созданные раньше, нужно обновить, чтобы использовать его. В документации также отмечается, что существует реализация Unity Catalog с открытым исходным кодом, и приводится ссылка на отдельную страницу с требованиями и ограничениями, которые стоит проверить перед планированием внедрения.

В эпизоде M365.FM «Azure Databricks - Simply Explained» Unity Catalog помещён в общий обзор платформы. Его план охватывает, что такое Azure Databricks, зачем нужна идея lakehouse, Apache Spark, блокноты, кластеры и Delta Lake, а затем объединяет «Workspaces, Accounts, and Unity Catalog» в одну тему. Эпизод также завершается рекомендациями о том, когда использовать Databricks, Fabric или Synapse. В этой рамке Unity Catalog — это та часть, которая объясняет, как несколько рабочих областей в одном аккаунте могут разделять единую модель управления, что важно при сравнении Databricks с другими платформами данных Microsoft.

Для тех, кто ищет этот термин, краткий ответ такой: Unity Catalog отвечает на вопросы о том, кто может получить доступ к каким данным или моделям, откуда пришли эти данные, кто ими пользовался и как их можно найти или передать. Поскольку он применяется в момент выполнения запроса к таблице или вызова модели, а записи lineage и аудита создаются автоматически, он составляет основу управления в Azure Databricks, а не является необязательным дополнением.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Что такое Unity Catalog в Azure Databricks? (AI)

Unity Catalog — это единый слой управления данными и ИИ в Azure Databricks. Он контролирует доступ, автоматически отслеживает lineage и фиксирует активность для аудита во всех рабочих областях.

Как организованы объекты в Unity Catalog? (AI)

Таблицы, представления, тома, функции и модели используют трёхуровневое пространство имён: каталог, схема и объект. Привилегии на эти защищаемые объекты предоставляются пользователям, service principal или группам.

Включён ли Unity Catalog по умолчанию? (AI)

По данным Microsoft Learn, он включён автоматически для рабочих областей, созданных после ноября 2023 года. Рабочие области, созданные раньше, нужно обновить, чтобы использовать его.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: