Microsoft Purview Data Map explicado de forma simples: o que faz e como se encaixa no Purview
By Mirko Peters ·
O que é o Microsoft Purview Data Map, como a varredura o preenche, em que se diferencia do Unified Catalog, como as unidades de capacidade são cobradas e o aviso de desativação que a Microsoft agora exibe nas suas páginas de governança de dados.
Automatically translated with AI from the original post. Read the English original
O Microsoft Purview Data Map é um inventário de metadados. Ele faz a varredura das suas fontes de dados, registra o que existe e o que contém, e mantém esse registro atualizado para que as pessoas possam encontrar e governar os dados. Ele não copia nem abre os seus dados para os usuários. Antes de começar, um alerta: a visão geral de governança de dados da Microsoft agora traz um aviso de desativação, abordado perto do final deste artigo.
Pontos-chave
- O Data Map é a camada de metadados da governança de dados do Purview. Ele armazena metadados sobre as fontes de dados, não os dados em si.
- As varreduras se conectam a uma fonte, capturam metadados técnicos, extraem esquemas e aplicam classificações. Em seguida, a ingestão carrega o resultado no Data Map.
- O Unified Catalog fica acima do Data Map. Os stewards curam, nessa camada, produtos de dados, termos do glossário e domínios.
- A cobrança usa unidades de capacidade: cada unidade cobre 25 operações por segundo e 10 GB de metadados. As contas começam com 1 e escalam automaticamente até 10.
- A visão geral de governança de dados da Microsoft informa que o Unified Catalog e a governança de dados clássica estão sendo desativados, sem novas contas e com modo de manutenção até 12 de novembro de 2027.
Onde o Data Map se encaixa no Purview
A Microsoft Learn descreve o Microsoft Purview como um conjunto de soluções para governar, proteger e gerenciar dados, entregue pelo portal do Microsoft Purview. Ela as agrupa em três áreas:
- Segurança de dados, por exemplo Prevenção contra Perda de Dados, Proteção de Informações e Gerenciamento de Riscos Internos.
- Governança de dados, que inclui o Data Map e o Unified Catalog.
- Conformidade de dados, por exemplo Auditoria, eDiscovery, Gerenciador de Conformidade e Gerenciamento de Registros.
Rótulos de confidencialidade, classificadores e conectores são recursos compartilhados, usados em várias dessas áreas. O Data Map pertence à área de governança, por isso é uma tarefa diferente de rotular arquivos no Microsoft 365.
O que o Data Map faz
A Microsoft Learn chama o Data Map de base para a descoberta de dados e a governança de dados. Ele captura metadados sobre dados em sistemas analíticos, aplicações SaaS e sistemas operacionais, em ambientes híbridos, locais e multicloud. A varredura e a classificação integradas mantêm essas informações atualizadas.
Os metadados se dividem em alguns grupos: metadados técnicos, como esquemas, tipos de dados e colunas; metadados semânticos, como classificações e mapeamentos de coleções; metadados operacionais, como status de execução do lineage; e metadados de negócio, como descrições e termos do glossário.
Uma regra importa muito em revisões de segurança. A Microsoft afirma que todos os dados no Data Map e no Unified Catalog são metadados. Nenhuma das permissões em qualquer uma das soluções concede acesso aos dados em si.
Data Map versus Unified Catalog
Os dois produtos costumam ser confundidos. A orientação de planejamento da Microsoft os separa assim:
- O Data Map é a camada técnica. Ele armazena metadados sobre os ativos coletados por meio da varredura das fontes.
- O Unified Catalog é a camada voltada ao negócio. Os data stewards fazem a curadoria dos dados ali, e os consumidores encontram os produtos de dados.
No Unified Catalog, os principais objetos são os domínios de governança (por exemplo, Marketing ou Finanças), os produtos de dados, os termos do glossário, os elementos críticos de dados, os OKRs e as pontuações de qualidade de dados. O Data Map alimenta esse catálogo. O registro e a varredura de fontes acontecem no Data Map, e os produtos de dados são criados no Unified Catalog.
Como a varredura preenche o Data Map
Uma varredura se conecta a uma fonte de dados e captura metadados técnicos, como nomes, tamanho de arquivos e colunas. Para fontes estruturadas, ela extrai o esquema e aplica classificações. Se o Data Map estiver conectado ao portal do Microsoft Purview, ela também aplica rótulos de confidencialidade. Em seguida, a ingestão analisa a saída da varredura, aplica padrões de conjunto de recursos, adiciona o lineage disponível e carrega o Data Map. Os ativos só podem passar por curadoria depois que a ingestão termina.
Cada varredura tem um nível:
| Nível | O que extrai | |---|---| | L1 | Metadados básicos, como nome do arquivo, tamanho e nome totalmente qualificado | | L2 | Esquema para tipos de arquivo estruturados e tabelas de banco de dados | | L3 | Esquema, quando aplicável, além de amostragem e classificação |
A detecção automática é o padrão e aplica o nível mais alto que a fonte suporta. Para o Azure SQL Database, esse nível é o L3. Níveis de varredura personalizados estão disponíveis apenas no Azure integration runtime e no Managed Virtual Network integration runtime v2.
Um conjunto de regras de varredura define quais tipos de arquivo e classificações a varredura procura. Muitas fontes têm conjuntos de regras do sistema, e também é possível criar conjuntos personalizados. As varreduras podem ser executadas uma vez ou em uma programação diária, semanal ou mensal. A Microsoft sugere a frequência diária ou semanal para fontes em desenvolvimento ativo e a mensal para fontes que mudam raramente.
Para credenciais, a Microsoft recomenda uma identidade gerenciada sempre que possível, porque isso evita armazenar credenciais para cada fonte. O próprio Purview não armazena senhas nem segredos diretamente.
A exclusão é detectada comparando a última varredura com a atual, por isso pode ser necessário que várias varreduras bem-sucedidas ocorram antes que os ativos excluídos sejam resolvidos.
Unidades de capacidade e cobrança
O Data Map é cobrado em unidades de capacidade (CU). Cada CU representa a capacidade de operações e o armazenamento de metadados:
- 25 operações por segundo por CU
- 10 GB de armazenamento de metadados por CU
- Cada conta começa com 1 CU e aumenta automaticamente até 10 CU por padrão
- Não há limite padrão para o armazenamento de metadados
As operações incluem criar um ativo, adicionar um relacionamento, editar metadados de negócio e executar uma pesquisa por palavra-chave. A cobrança é feita por hora, com base na maior quantidade de CU necessária naquela hora, com um mínimo de 1. O armazenamento pode gerar custo por conta própria: com 25 operações por segundo e 15 GB, você é cobrado por 2 CU. O exemplo de seis horas da Microsoft soma 22 horas-unidade de capacidade.
Para acompanhar o uso, abra Contas do Microsoft Purview no portal do Azure, selecione a conta e verifique Monitoramento na página Visão geral. Para mais detalhes, vá em Monitoramento > Métricas e escolha Data Map Capacity Units ou Data Map Storage Size. Alertas podem ser criados a partir da mesma página.
As dicas de custo da Microsoft são práticas: use varreduras incrementais depois da primeira varredura completa, limite o escopo das varreduras, escalone as programações, reduza a frequência se a atualidade dos dados permitir, desative a extração de lineage que você não precisa e limpe o lineage histórico.
Uma ordem sensata para começar
A página de introdução da Microsoft lista estas etapas básicas de configuração para governança de dados, depois dos pré-requisitos de uma instância Enterprise do Purview e das fontes de dados registradas e varridas:
- Atribua a função Data Governance Administrator.
- Crie domínios de governança: atribua a função de criador de domínio de governança, crie pelo menos um domínio e atribua pelo menos um proprietário de domínio.
- Registre e verifique as fontes de dados no Data Map.
- Crie produtos de dados: atribua proprietários de produtos de dados e crie pelo menos um produto de dados.
- Conceda acesso de leitor do catálogo nos domínios de governança para que os usuários possam explorar os produtos de dados.
A página de planejamento apresenta uma ordem semelhante e também cita a criação de uma coleção no Data Map e a adição de um administrador de fonte de dados antes da primeira verificação. Ela sugere começar pelas partes interessadas que mais se importam com a governança de dados, como as equipes de business intelligence ou de data lake, em vez de toda a organização.
Aviso de desativação e o que as fontes não esclarecem
A visão geral de governança de dados do Microsoft Learn começa com esta mensagem: os recursos de governança de dados do Unified Catalog e do Microsoft Purview clássico, anteriormente Azure Purview, estão sendo desativados, e a Microsoft está consolidando seus recursos de governança de dados no Microsoft Fabric. Ela acrescenta que não é mais possível criar novas contas e que os recursos existentes permanecem em modo de manutenção até 12 de novembro de 2027.
As fontes divergem no tom. A página de capacidade do Data Map que eu li ainda descreve a criação de uma conta no portal do Azure e não traz nenhum aviso de desativação, e a página de planejamento também não traz. O anúncio completo para o qual a visão geral aponta não pôde ser lido para este artigo. Antes de construir sobre o Data Map, leia esse anúncio, verifique como o seu locatário está configurado e pergunte à Microsoft o que o caminho do Fabric significa para as suas fontes.
Relacionados
Fontes
- Microsoft Learn: Microsoft Purview Data Map
- Microsoft Learn: Saiba mais sobre o Microsoft Purview
- Microsoft Learn: Visão geral de governança de dados
- Microsoft Learn: Plano de governança de dados
- Microsoft Learn: Verificações e ingestão no Data Map
- Microsoft Learn: Primeiros passos com governança de dados
- Microsoft Learn: Unified Catalog
Perguntas frequentes
O que é o Microsoft Purview Data Map?
De acordo com a Microsoft Learn, o Data Map é a base para a descoberta de dados e a governança de dados no Microsoft Purview. Ele captura metadados sobre dados em sistemas analíticos, SaaS e operacionais, em ambientes híbridos, locais e multicloud. A varredura e a classificação integradas mantêm essas informações atualizadas.
Qual é a diferença entre o Data Map e o Unified Catalog?
A Microsoft Learn descreve o Data Map como a camada técnica que armazena os metadados coletados pela varredura das fontes de dados. O Unified Catalog é a camada voltada aos negócios, onde os stewards curam os dados e os consumidores encontram produtos de dados. Ambos guardam apenas metadados, e nenhum dos dois concede acesso aos dados subjacentes.
Como o Purview Data Map é cobrado?
A Microsoft Learn informa que o Data Map é cobrado por hora, com base no maior número de unidades de capacidade necessárias naquela hora, com um mínimo de 1. Cada unidade de capacidade inclui 25 operações por segundo e 10 GB de armazenamento de metadados. Se o armazenamento exceder a unidade atual, a próxima unidade é cobrada mesmo quando a capacidade de processamento não é utilizada.
O Purview Data Map está sendo desativado?
Um aviso na visão geral de governança de dados da Microsoft Learn informa que o Unified Catalog e os recursos clássicos de governança de dados do Purview, anteriormente Azure Purview, estão sendo desativados à medida que a Microsoft consolida a governança de dados no Microsoft Fabric. Ele diz que novas contas não podem mais ser criadas e que os recursos existentes permanecem em modo de manutenção até 12 de novembro de 2027. A página de capacidade do Data Map que eu li não traz esse aviso, então verifique o anúncio vinculado antes de planejar uma implantação.
O Data Map dá acesso às minhas tabelas e arquivos?
Não. A Microsoft Learn afirma que todos os dados no Data Map e no Unified Catalog são metadados, não os dados subjacentes, e que nenhuma das funções ou permissões de nenhuma das soluções concede acesso aos dados subjacentes.