M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Unity Catalog

Product

A camada de governança do Databricks que oferece controle de acesso centralizado, auditoria, linhagem e descoberta em todos os workspaces.

◆ PRODUCTUnity CatalogM365.FM
Title graphic: Unity Catalog (Product)

Também abordados

O episódio sobre Unity Catalog aborda também Azure Databricks, Delta Lake, Apache Spark e Aprendizagem automática.

Descrição

O Unity Catalog é a camada de governança do Databricks. No Azure Databricks, ele é descrito como a camada unificada de governança para dados e IA. Depois de habilitado para um workspace, ele funciona por baixo de todas as interações com dados e IA ali realizadas. Ele oferece controle de acesso centralizado, auditoria, linhagem e descoberta em todos os workspaces, de modo que as regras sobre quem pode ver ou alterar dados são definidas em um único lugar, em vez de serem repetidas em cada workspace.

A documentação descreve como isso funciona na prática. O Unity Catalog controla o acesso sempre que uma tabela é consultada ou um modelo é chamado. Ele rastreia a linhagem automaticamente e registra a atividade para fins de auditoria. O acesso ao catálogo está disponível por meio do Catalog Explorer, de SQL, da CLI do Databricks e de APIs REST. Tudo o que é governado é um objeto protegível, e os privilégios sobre esses objetos são concedidos a usuários, entidades de serviço ou grupos. Tabelas, views, volumes, funções e modelos são organizados em um namespace de três níveis, composto por um catálogo, um schema e o próprio objeto.

Uma distinção que importa para decisões de armazenamento é a que existe entre objetos gerenciados e externos. Tabelas e volumes podem ser gerenciados, caso em que o Unity Catalog cuida do ciclo de vida do armazenamento, além da governança. Eles também podem ser externos, caso em que o Unity Catalog cuida apenas da governança e o armazenamento permanece fora do seu gerenciamento de ciclo de vida. Escolher entre os dois é uma decisão de projeto comum quando os dados já estão em locais de armazenamento existentes.

As áreas funcionais citadas na documentação do Microsoft Learn vão além de permissões básicas. Elas incluem controle de acesso com políticas baseadas em atributos e filtros de linhas e colunas, descoberta, linhagem, logs de auditoria expostos como uma tabela do sistema, classificação de dados, monitoramento da qualidade dos dados, compartilhamento de dados entre organizações e nuvens e governança de IA. Isso significa que uma única camada cobre tanto dados analíticos quanto ativos de IA, como modelos, em vez de tratá-los como problemas de governança separados.

Sobre a disponibilidade, o Unity Catalog é ativado automaticamente para workspaces criados após novembro de 2023. Workspaces criados anteriormente precisam ser atualizados para usá-lo. A documentação também observa que existe uma implementação de código aberto do Unity Catalog e aponta para uma página separada com requisitos e limitações, que deve ser consultada antes de planejar uma implantação.

O episódio do M365.FM "Azure Databricks - Simply Explained" posiciona o Unity Catalog dentro de sua visão geral da plataforma. Seu roteiro abrange o que é o Azure Databricks, por que existe a ideia de lakehouse, Apache Spark, notebooks, clusters e Delta Lake, e então agrupa "Workspaces, Accounts, and Unity Catalog" como um único tópico. O episódio também termina com orientações sobre quando usar Databricks, Fabric ou Synapse. Nesse enquadramento, o Unity Catalog é a parte que explica como vários workspaces sob uma mesma conta podem compartilhar um modelo de governança consistente, o que é relevante ao comparar o Databricks com outras plataformas de dados da Microsoft.

Para quem pesquisa o termo, a versão resumida é que o Unity Catalog responde às perguntas de quem pode acessar quais dados ou modelos, de onde esses dados vieram, quem os utilizou e como podem ser encontrados ou compartilhados. Como é aplicado no momento em que tabelas são consultadas ou modelos são chamados, e como os registros de linhagem e auditoria são gerados automaticamente, ele forma a base da governança no Azure Databricks, em vez de ser um complemento opcional.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TipoProduct

Perguntas frequentes

Questions marked with AI were written with AI from the facts on this page.

O que é o Unity Catalog no Azure Databricks? (AI)

O Unity Catalog é a camada unificada de governança para dados e IA no Azure Databricks. Ele controla o acesso, rastreia a linhagem automaticamente e registra a atividade para auditoria em todos os workspaces.

Como os objetos são organizados no Unity Catalog? (AI)

Tabelas, views, volumes, funções e modelos usam um namespace de três níveis: catálogo, schema e objeto. Os privilégios sobre esses objetos protegíveis são concedidos a usuários, entidades de serviço ou grupos.

O Unity Catalog é habilitado por padrão? (AI)

Segundo o Microsoft Learn, ele é ativado automaticamente para workspaces criados após novembro de 2023. Workspaces criados antes disso precisam ser atualizados para usá-lo.

Glossário

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Especialistas e empresas para este tópico

Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: