Dominando a governança do Lakehouse no Microsoft Fabric: um guia completo

By Mirko Peters · 2026-08-28

Bem-vindo de volta ao blog do podcast! Se você tem acompanhado nossos episódios de áudio recentes, sabe que adoramos mergulhar fundo nas arquiteturas e estratégias técnicas que mantêm as plataformas de dados modernas funcionando sem problemas…

Automatically translated with AI from the original post. Read the English original

Bem-vindo de volta ao blog do podcast! Se você tem acompanhado nossos episódios de áudio recentes, sabe que adoramos mergulhar fundo nas arquiteturas e estratégias técnicas que mantêm as plataformas de dados modernas funcionando sem problemas. Hoje, vamos nos aprofundar em um tema que está no topo das preocupações de praticamente todo líder de dados: governança do lakehouse, linhas de base de segurança e linhagem de dados. Se você quiser se aprofundar ainda mais na conversa em áudio que inspirou este post, não deixe de conferir o episódio relacionado, Microsoft Fabric Lakehouse Governance and Data Lineage.

A governança do Lakehouse no Microsoft Fabric permite que você controle, proteja e gerencie seus dados com confiança. Você ganha visibilidade total da jornada dos seus dados, o que é essencial para atender às regras de conformidade e tomar decisões inteligentes. Hoje, mais de 65% dos líderes de dados colocam a governança no topo da estratégia, e 71% das organizações já têm um programa em vigor. O Microsoft Fabric se destaca com o rastreamento automático de linhagem de dados, permissões baseadas em workspaces e um catálogo unificado do Purview. Esses recursos ajudam você a confiar nos seus dados e a usá-los com eficácia.

Principais conclusões

• A governança do Lakehouse no Microsoft Fabric ajuda você a controlar e proteger seus dados com eficácia.
• O rastreamento automático de linhagem de dados mostra a jornada dos seus dados, aumentando a confiança e a conformidade.
• Estabeleça linhas de base de segurança robustas para gerenciar o acesso e proteger informações sensíveis.
• Use permissões baseadas em workspaces para controlar quem pode acessar e modificar dados no seu ambiente.
• Monitore regularmente a qualidade dos dados e o acesso para identificar problemas cedo e manter a conformidade.
• Organize seus workspaces com cuidado para garantir limites de segurança claros e uma gestão de dados eficaz.
• Utilize metadados para melhorar a localização dos dados e apoiar a conformidade com as regulamentações.
• Implemente monitoramento contínuo para manter seu ambiente de dados saudável e seguro.

8 fatos surpreendentes sobre linhagem de dados no Microsoft Fabric com o Purview

1. Linhagem automatizada de ponta a ponta em fontes híbridas: O Purview integrado ao Microsoft Fabric pode capturar automaticamente a linhagem de fontes locais, multinuvem e SaaS para os ativos do Fabric, oferecendo uma visão unificada de ponta a ponta sem mapeamento manual.
2. A linhagem visual é interativa e consultável: Os diagramas de linhagem no Fabric + Purview não são imagens estáticas — você pode navegar por conjuntos de dados, pipelines, notebooks e relatórios para explorar as relações upstream/downstream e os detalhes de metadados em tempo real.
3. Linhagem em nível de código para notebooks e transformações: O Purview pode extrair e exibir a linhagem no nível de código ou de transformação (por exemplo, notebooks do Synapse e trabalhos do Spark), mostrando quais colunas e blocos de código específicos contribuíram para as colunas posteriores.
4. Há suporte para linhagem de esquema e de colunas: Além dos fluxos em nível de conjunto de dados, o Purview acompanha as alterações de esquema e os mapeamentos de colunas, permitindo análises de impacto precisas quando uma coluna é renomeada, adicionada ou removida.
5. Captura automática de linhagem do Power BI e das experiências do Fabric: Relatórios, painéis e fluxos de dados do Power BI e do Fabric são verificados automaticamente e vinculados ao grafo de linhagem, para que os artefatos de BI apareçam junto com os dados brutos e os processos de ETL.
6. Os metadados de linhagem alimentam os fluxos de governança: As informações de linhagem podem ser usadas por políticas, proteção de dados e processos de certificação — por exemplo, você pode automatizar a propagação de rótulos de confidencialidade e as notificações de impacto com base nos caminhos de linhagem.
7. Visualizações históricas e de viagem no tempo da linhagem: O Purview com o Fabric pode preservar snapshots históricos da linhagem, permitindo comparar como os fluxos de dados e as transformações mudaram ao longo do tempo para auditorias e conformidade.
8. Integração com ferramentas de observabilidade e operação: Os metadados de linhagem podem ser exportados ou integrados a sistemas de monitoramento e resposta a incidentes, para que as equipes operacionais rastreiem rapidamente falhas até o conjunto de dados ou o artefato de código de origem.

Governança no Lakehouse do Microsoft Fabric

Princípios fundamentais

Você precisa de bases sólidas para gerenciar seus dados com eficácia. O Lakehouse do Microsoft Fabric fundamenta sua governança em três princípios principais:

1. Linhas de base de segurança: Você define uma linha de base de segurança padrão para cada workspace. Isso ajuda você a controlar quem pode acessar os dados e como eles se movimentam.
2. Monitoramento: Você acompanha métricas-chave e usa painéis centralizados. Isso oferece visibilidade constante sobre a saúde e a confiabilidade da sua plataforma.
3. Governança de implantação: Você trata todos os artefatos de dados como código. Você usa pipelines automatizados para implantar alterações de forma controlada.

Você também define os limites de segurança dos workspaces. Aplica rótulos de confidencialidade padrão para classificar os dados de acordo com o seu impacto. Impõe políticas de proteção com base nesses rótulos. Essas etapas ajudam você a proteger informações sensíveis e manter seus dados seguros.

Pilares da governança

Você pode pensar na governança no Microsoft Fabric Lakehouse como quatro pilares principais. Cada pilar sustenta uma parte diferente da sua estratégia de gerenciamento de dados.

Você usa o Microsoft Purview para proteger dados sensíveis e garantir a conformidade. Você pode marcar dados com rótulos de confidencialidade e acompanhar as ações dos usuários com trilhas de auditoria. As políticas de DLP do Purview ajudam você a detectar informações sensíveis e manter sua organização em conformidade.

Desafios na governança do lakehouse

Você pode enfrentar vários desafios ao implementar a governança em um ambiente de lakehouse. Esses desafios podem afetar a qualidade, a segurança e as operações dos seus dados.

Você pode reduzir riscos seguindo boas práticas sólidas de governança de dados. Por exemplo, você deve definir políticas claras, usar controle de acesso baseado em funções e integrar com o Microsoft Purview. Essas etapas ajudam a manter a integridade e a segurança em todos os seus ativos de dados.

💡 Você sabia? O custo médio global de uma violação de dados atingiu níveis históricos. A governança deficiente também pode gerar perdas anuais expressivas devido à colaboração fraca. Agir agora protege sua organização e seus dados.

Linhagem de dados no Fabric Lakehouse

O que é linhagem de dados?

A linhagem de dados mostra a jornada completa dos seus dados. Você pode ver onde os dados começam, como se movimentam e onde terminam. No Microsoft Fabric Lakehouse, a linhagem de dados aparece no nível do artefato. Você notará que o Lakehouse e o Warehouse aparecem como nós separados, mesmo quando compartilham dados no OneLake. Ao usar o Dataflow Gen2, você vê cada etapa como uma parte distinta da movimentação dos dados. Às vezes, um endpoint de análise SQL em um Lakehouse cria nós extras. Diferentes métodos de conexão também podem criar vários nós para a mesma origem ou destino. Atualmente, não é possível unir o Lakehouse e o Warehouse em um único nó de linhagem. Esse mapeamento claro ajuda você a entender o fluxo e a estrutura dos seus dados.

Rastreamento automático de linhagem

O Microsoft Fabric Lakehouse oferece rastreamento automático de linhagem. Você não precisa configurar processos manuais. As visualizações de lake materializadas cuidam disso para você. Você pode visualizar um diagrama de linhagem gerado automaticamente que mostra como suas visualizações dependem das tabelas de origem. O sistema gerencia as atualizações com base nas alterações nos seus dados de origem. Isso significa que você sempre vê as conexões e dependências mais recentes. Você identifica rapidamente de onde os dados vêm e como eles mudam ao longo do tempo. Esse recurso economiza seu tempo e reduz erros.

Benefícios para conformidade e confiança

A linhagem de dados e a análise de impacto desempenham um papel fundamental no atendimento a padrões de conformidade e na construção de confiança nos seus dados. Você pode usar os recursos de linhagem para apoiar regulamentações importantes:

Você ganha visibilidade clara do fluxo de dados e das dependências. Isso ajuda a rastrear erros até a origem e a entender o impacto das mudanças.

O data lineage no Lakehouse do Microsoft Fabric aumenta a confiança nos dados da organização, oferecendo visibilidade clara do fluxo de dados e das dependências. Assim, os usuários conseguem rastrear erros até a origem e entender o impacto das mudanças. Essa transparência ajuda a verificar a precisão e a confiabilidade dos dados que estão utilizando.

Você pode usar data lineage e análise de impacto para análise de causa raiz. Rastreie rapidamente um erro até a sua origem. Você também pode realizar análise de impacto para entender as consequências das mudanças antes de fazê-las. Esses recursos ajudam você a solucionar problemas, manter a conformidade e garantir transparência em toda a organização.

Arquitetura do Lakehouse

Ingestão e armazenamento de dados

Você pode trazer dados para o seu lakehouse por meio de vários métodos flexíveis. O Microsoft Fabric oferece um conjunto de ferramentas de ingestão adequadas a diferentes níveis de habilidade e necessidades. Por exemplo, você pode usar o Pipeline Copy Activity para uma abordagem sem código quando precisar mover grandes volumes de dados rapidamente. Se preferir uma interface visual, o Dataflows Gen 2 permite transformar dados com ferramentas de baixo código. Para tarefas mais avançadas, o Apache Spark oferece o poder de escrever código personalizado. Os Data Pipelines ajudam a automatizar a movimentação de dados em lote e em tempo real, enquanto o Transact-SQL dá suporte a operações complexas usando comandos SQL conhecidos.

Ao organizar seus dados, você costuma usar uma abordagem em camadas:

• Bronze: dados brutos, como chegam.
• Silver: dados que foram limpos ou enriquecidos.
• Gold: dados curados, prontos para análises ou relatórios.

Essa estrutura ajuda a gerenciar a qualidade dos dados e a acompanhar sua trajetória, da origem até o insight. Cada etapa do processo inclui verificações de validação, que protegem a integridade dos dados e evitam erros. Os recursos de auditoria registram cada ação, para que você sempre saiba quem acessou ou alterou seus dados. Essas ferramentas ajudam a manter a conformidade com regulamentações como LGPD e HIPAA.

Metadados e catálogos

Os metadados são a base do seu lakehouse. Eles descrevem seus dados, facilitando encontrá-los, entendê-los e confiar neles. O Microsoft Fabric inclui recursos robustos de varredura de metadados que permitem catalogar cada ativo, até o nível de coluna. Você pode consultar detalhes sobre estruturas de dados, como nomes de tabelas e tipos de coluna, o que ajuda a avaliar e usar os dados com segurança.

Um catálogo bem gerenciado melhora tanto a descoberta quanto a governança. Você pode atribuir responsabilidades, definir regras de segurança e monitorar a qualidade dos dados. Quando usa os metadados como ponte, você conecta sua base analítica a produtos de dados confiáveis e de alta qualidade. Essa abordagem evita problemas recorrentes de qualidade de dados e sustenta um ambiente governado e preparado para IA.

Dica: use os metadados para rastrear mudanças e manter um registro claro do histórico dos seus dados. Essa prática ajuda a evitar confusões e garante que todos trabalhem com as informações mais precisas.

Integração com o Microsoft Purview

O Microsoft Purview traz catalogação e governança avançadas para o seu lakehouse. Ele varre tabelas e arquivos, oferecendo informações detalhadas sobre cada coluna e seu tipo de dado. Esse nível de detalhe facilita a integração de novas fontes de dados e apoia contratos de dados claros entre as equipes.

O Purview também revela insights sobre dados sensíveis, ajudando você a manter a conformidade com as leis de privacidade. Seus metadados ricos se conectam a ferramentas de qualidade de dados, para que você possa perfilar e validar seus ativos. O rastreamento de linhagem mostra de onde os dados vêm e como mudam, o que é essencial para a análise de impacto quando você atualiza esquemas ou processos.

Estes são os principais componentes da arquitetura do Lakehouse do Microsoft Fabric:

Ao usar essas ferramentas integradas, você cria um ambiente de dados seguro e bem governado, que dá suporte tanto à análise quanto à conformidade.

Segurança e controle de acesso

Permissões baseadas em workspace

Você controla o acesso aos seus dados no Lakehouse do Microsoft Fabric por meio de permissões baseadas em workspace. Os workspaces funcionam como contêineres seguros para seus dados e ativos de analytics. Você atribui usuários a funções específicas em cada workspace. Essas funções determinam quais ações os usuários podem realizar. Por exemplo, um usuário com a função Viewer pode apenas ler dados, enquanto um Contributor pode editar e criar novos itens.

Você também pode definir permissões no nível do item. Isso significa que é possível dar acesso a um único dataset ou tabela sem conceder acesso ao workspace inteiro. Essa flexibilidade ajuda a proteger informações sensíveis e a limitar a exposição.

Veja a seguir uma visão geral rápida de como as permissões funcionam:

As permissões baseadas em workspace aplicam a segurança em todos os mecanismos de computação do OneLake. Você não precisa configurar regras separadas para cada mecanismo. Essa abordagem unificada facilita o gerenciamento de acesso e reduz o risco de erros.

Dica: atribua aos usuários apenas as permissões de que precisam. Essa prática segue o princípio do privilégio mínimo e mantém seus dados mais seguros.

Acesso baseado em funções

O controle de acesso baseado em funções (RBAC) oferece ainda mais precisão. Você pode atribuir funções que correspondam à atividade de cada usuário. Por exemplo, você pode dar aos cientistas de dados acesso a determinados schemas ou tabelas, enquanto analistas de negócios obtêm acesso a relatórios curados.

O processo para configurar o acesso baseado em funções é simples:

Você pode usar comandos SQL para um controle granular. Isso permite ajustar com precisão quem pode visualizar ou editar dados específicos. Você também se beneficia da mascaramento dinâmico de dados, que oculta informações sensíveis de usuários não autorizados. Os rótulos de confidencialidade do Purview e os recursos de proteção de informações ajudam a classificar e proteger dados automaticamente.

Observação: o acesso baseado em funções ajuda você a atender a requisitos de conformidade, garantindo que somente usuários autorizados vejam dados sensíveis.

Como prevenir o desvio de segurança

O desvio de segurança acontece quando suas permissões e funções se tornam inconsistentes ao longo do tempo. Isso pode criar lacunas nas suas defesas. Você previne o desvio de segurança padronizando seu modelo de segurança e revisando o acesso regularmente.

Estas são algumas áreas que devem ser padronizadas:

Você deve agendar revisões de acesso regulares. Verifique quem tem acesso a cada workspace e item. Remova as permissões que não são mais necessárias. Use o Microsoft Purview Data Security Posture Management para descobrir riscos e agir rapidamente.

Revisões regulares e um modelo de segurança claro mantêm seu ambiente de lakehouse seguro e em conformidade.

Melhores práticas de governança e linhagem

Estruturação de workspaces

Você estabelece a base para uma governança sólida ao organizar seus workspaces com cuidado. Um workspace bem estruturado ajuda a controlar o acesso, proteger dados sensíveis e manter seu ambiente gerenciável à medida que os dados crescem. Comece definindo limites de segurança claros para cada workspace. Decida quem pode criar novos workspaces e quem gerencia o acesso dentro deles. Atribua um administrador principal para supervisionar permissões e alterações.

Você deve sempre aplicar rótulos de confidencialidade padrão aos seus dados. Essa etapa garante que cada dataset receba o nível adequado de proteção desde o início. Aplique políticas de proteção para controlar como os usuários compartilham e acessam dados. Essas políticas ajudam a evitar exposição não autorizada e mantêm sua organização em conformidade.

Estas são algumas melhores práticas para estruturar workspaces:

Você também pode seguir estas etapas para fortalecer a estrutura dos seus workspaces:

• Estabeleça uma linha de base de segurança padrão para todos os workspaces.
• Designe um administrador principal do workspace para gerenciar o acesso.
• Aplique o princípio do menor privilégio para as permissões dos usuários.

Dica: revise as permissões do workspace regularmente para evitar desvios de segurança e manter seus dados protegidos.

Gerenciando Metadados

Os metadados são a base da sua estratégia de governança de dados. Quando você gerencia bem os metadados, facilita para todos encontrar, entender e confiar nos seus dados. Catalogue todos os ativos, incluindo tabelas, arquivos e relatórios. Atribua uma responsabilidade clara para que os usuários saibam a quem recorrer em caso de dúvidas ou alterações.

Você deve atualizar os metadados sempre que adicionar ou alterar dados. Esse hábito mantém seu catálogo preciso e ajuda a evitar confusões. Use tags e descrições para destacar campos sensíveis ou tipos especiais de dados. Esses detalhes apoiam a conformidade e facilitam as auditorias.

Um processo sólido de gerenciamento de metadados também melhora a descoberta de dados. Os usuários podem pesquisar conjuntos de dados por palavras-chave, tags ou classificações. Essa abordagem economiza tempo e reduz o risco de usar dados desatualizados ou incorretos.

Nota: práticas consistentes de metadados ajudam a manter a qualidade dos dados e a oferecer suporte ao rastreamento automatizado de linhagem.

Convenções de Nomenclatura

Convenções de nomenclatura claras tornam seu ambiente de dados mais fácil de navegar e governar. Quando você usa nomes padronizados, ajuda os usuários a encontrar o que precisam e a entender a finalidade de cada ativo. Nomes consistentes também apoiam as ferramentas automatizadas que rastreiam a linhagem e aplicam políticas.

Aqui estão alguns padrões comuns de nomenclatura que você pode usar no Lakehouse do Microsoft Fabric:

Evite nomes vagos ou genéricos. Em vez disso, inclua o domínio, o projeto ou a finalidade de negócio em cada nome. Essa prática facilita o rastreamento da linhagem de dados e o gerenciamento das permissões.

Dica: documente suas convenções de nomenclatura e compartilhe-as com sua equipe para garantir que todos sigam o mesmo padrão.

Monitoramento Contínuo

O monitoramento contínuo ajuda você a manter seu ambiente de dados saudável e seguro. Você precisa acompanhar diariamente seus pipelines de dados, permissões e a qualidade dos dados. Essa prática permite identificar problemas cedo e corrigi-los antes que se tornem questões maiores.

Você pode usar as ferramentas de monitoramento integradas do Microsoft Fabric Lakehouse. Elas mostram o status dos seus pipelines de dados, atualizações e atividades do workspace. Você recebe alertas quando algo falha ou quando os dados não atendem aos padrões de qualidade. Também é possível criar painéis que acompanham métricas-chave, como taxas de sucesso dos pipelines, atualidade dos dados e atividade dos usuários.

Estas são algumas etapas que você pode seguir para um monitoramento contínuo eficaz:

1. Configure alertas: configure alertas para falhas no carregamento de dados, alterações de permissões ou atividades incomuns. Você é notificado imediatamente e pode responder com rapidez.
2. Monitore a qualidade dos dados: use ferramentas de perfilamento de dados para verificar valores ausentes, duplicidades ou discrepantes. Agende verificações regulares para manter seus dados limpos.
3. Audite acessos e alterações: revise os logs para ver quem acessou ou alterou os dados. Isso ajuda você a identificar ações não autorizadas e a manter a conformidade.
4. Automatize tarefas de monitoramento: use automação para executar verificações e enviar relatórios. A automação economiza seu tempo e reduz erros humanos.
5. Revise as métricas regularmente: consulte seus painéis com frequência. Acompanhe as tendências de desempenho dos pipelines e de uso dos dados para identificar padrões ou riscos.

Dica: use o Microsoft Purview Data Security Posture Management para descobrir riscos e receber recomendações de ação. Essa ferramenta ajuda você a se antecipar a ameaças e problemas de conformidade.

Você pode enfrentar algumas armadilhas comuns se deixar de lado o monitoramento contínuo. Por exemplo, pode não perceber um pipeline com falha e acabar com relatórios desatualizados. Também pode deixar passar uma alteração de permissão que expõe dados sensíveis. O monitoramento regular ajuda você a evitar esses riscos.

Aqui está uma lista de verificação rápida para o monitoramento contínuo no Fabric Lakehouse:

Ao tornar o monitoramento contínuo um hábito, você protege seus dados, apoia a conformidade e constrói confiança nas suas análises. Você cria um ambiente de dados mais seguro e confiável para todos na sua organização.

Cenários do Mundo Real

Auditorias de conformidade

Você enfrenta auditorias de conformidade quando precisa comprovar que seus dados atendem aos padrões legais e do setor. O Microsoft Fabric Lakehouse ajuda você a se preparar para essas auditorias com registros claros e rastreamento automatizado. Você pode mostrar aos auditores de onde vêm seus dados, como eles se movimentam e quem tem acesso. O sistema registra cada ação, então você sempre tem um histórico para seguir.

Você usa rótulos de confidencialidade e classificações de dados para proteger informações privadas. O Microsoft Purview cataloga seus dados e destaca os campos sensíveis. Isso facilita encontrar e revisar dados importantes durante uma auditoria. Você também pode gerar relatórios que mostram a linhagem dos dados e o histórico de acesso. Esses recursos ajudam você a responder perguntas rapidamente e evitar penalidades.

Dica: Agende revisões regulares do seu catálogo de dados e das suas permissões. Isso mantém seu ambiente preparado para qualquer auditoria.

Solução de problemas com dados

Problemas com dados podem atrasar seu trabalho ou causar erros nos relatórios. O Microsoft Fabric Lakehouse oferece ferramentas para encontrar e corrigir esses problemas rapidamente. Você pode rastrear o caminho dos seus dados para identificar onde as coisas dão errado. Os diagramas de linhagem automáticos mostram cada etapa, da origem ao destino.

Quando você enfrentar problemas com a movimentação ou o acesso aos dados, pode seguir estas etapas:

• Verifique a conectividade de rede para garantir que seus dados possam se movimentar entre os sistemas.
• Revise as configurações de autenticação para confirmar que usuários e serviços têm as permissões corretas.
• Teste as conexões para descobrir se firewalls ou tokens expirados estão bloqueando seus dados.
• Use os logs de auditoria para ver quem fez alterações e quando.

Essas etapas ajudam você a resolver problemas comuns, como cópias de dados que falham ou registros ausentes. Você pode agir rapidamente e manter seus dados fluindo sem interrupções.

Se você resolver os problemas cedo, evita questões maiores no futuro. Verificações regulares ajudam a manter seus dados saudáveis.

Habilitando a descoberta de dados

Você precisa encontrar os dados certos para tomar decisões inteligentes. O Microsoft Fabric Lakehouse torna a descoberta de dados simples e segura. O catálogo do Purview permite pesquisar conjuntos de dados, tabelas e relatórios por nome, tag ou classificação. Você vê detalhes de cada ativo, como proprietário, confidencialidade e última atualização.

Um catálogo bem organizado economiza seu tempo. Você não precisa adivinhar onde os dados estão ou se estão atualizados. Você pode confiar nas informações porque vê o histórico e a linhagem completos. Isso ajuda você a usar os dados com confiança e a compartilhar insights com toda a equipe.

Observação: Incentive sua equipe a manter os metadados atualizados. Bons metadados facilitam a descoberta para todos.

Você obtém valor real ao usar governança robusta e linhagem de dados no Microsoft Fabric Lakehouse. A linhagem automática, as permissões de workspace e o catálogo do Purview dão controle e visibilidade. As organizações relatam desempenho mais rápido, menos complexidade e mais confiança nos seus dados.

Para aprofundar seu conhecimento, você pode:

• Explorar a varredura de metadados e as visualizações de linhagem em cada workspace.
• Usar o Microsoft Purview para classificar e proteger seus dados.
• Monitorar seus dados com o OneLake Diagnostics.

Comece agora a construir um ambiente de dados seguro e confiável que apoie seus objetivos.

Checklist: linhagem de dados do Microsoft Fabric com o Purview

Use este checklist para planejar, implementar, validar e manter a linhagem de dados do Microsoft Fabric usando o Microsoft Purview.

1. Defina escopo e objetivos — Identifique os conjuntos de dados, relatórios, pipelines e casos de uso que você quer rastrear com a linhagem de dados do Microsoft Fabric.
2. Faça o inventário dos ativos de dados — Catalogue no Purview os workspaces do Fabric, Lakehouses, tabelas, relatórios do Power BI, notebooks e pipelines.
3. Confirme as permissões — Garanta que o Purview tenha as permissões necessárias para verificar os ativos do Fabric e que as entidades de serviço ou identidades gerenciadas estejam configuradas.
4. Registre as fontes do Microsoft Fabric — Adicione os endpoints do Fabric (Lakehouse, OneLake, Power BI, Synapse/outras fontes) ao Purview como fontes de dados.
5. Configure as varreduras — Agende e configure as varreduras do Purview para as fontes do Fabric, a fim de capturar esquemas, classificações e metadados de linhagem.
6. Habilite o lineage de ponta a ponta — Verifique se a coleta de lineage de ponta a ponta funciona em todas as camadas de ingestão, transformação (por exemplo, Spark, Dataflow) e relatórios no Fabric.
7. Mapeie entidades lógicas para físicas — Garanta que os datasets lógicos e os locais de armazenamento físico estejam vinculados, para que o lineage mostre claramente as relações.
8. Aplique classificações e rótulos de confidencialidade — Use regras de classificação do Purview e rótulos do Microsoft Information Protection para marcar dados sensíveis no Fabric.
9. Implemente conectores personalizados, se necessário — Crie ou configure conectores de lineage personalizados para componentes do Fabric sem suporte ou para ferramentas de terceiros.
10. Valide o lineage capturado — Compare o lineage do Purview com os pipelines, o SQL e os notebooks reais do Fabric para garantir precisão e completude.
11. Documente a lógica de ETL e de transformação — Mantenha descrições, regras de transformação e responsáveis para cada etapa do lineage no glossário ou nas descrições dos ativos do Purview.
12. Atribua proprietários e curadores de dados — Defina responsabilidades pela manutenção do lineage, pela qualidade dos metadados e pela resposta a problemas de lineage.
13. Revise os controles de acesso — Garanta acesso com privilégio mínimo aos ativos do Fabric e ao Purview, e restrinja quem pode editar os metadados de lineage.
14. Monitore a integridade das verificações e do lineage — Configure alertas e revise regularmente os logs de verificação, as falhas e as métricas de completude do lineage.
15. Audite as alterações de lineage — Registre as alterações de lineage e de metadados ao longo do tempo, para fins de conformidade e solução de problemas.
16. Capacite as equipes — Forneça treinamento para engenheiros de dados, analistas e curadores sobre como o Purview se integra ao lineage de dados do Microsoft Fabric e como usar as visualizações de lineage.
17. Aplique políticas de governança — Implemente políticas de retenção, acesso, classificação e metadados obrigatórios para os ativos do Fabric no Purview.
18. Mantenha um glossário de negócios — Relacione os termos de negócio aos datasets e lineages do Fabric para melhorar a localização e o entendimento.
19. Otimize o desempenho das verificações — Ajuste as programações, o escopo e o uso de recursos das verificações para equilibrar a atualidade do lineage com a carga do sistema.
20. Revise e melhore continuamente — Revise periodicamente a precisão, a cobertura e os processos de governança do lineage; itere sobre verificações, mapeamentos e treinamentos.

Visibilidade do Lineage no Fabric

O que é o lineage de dados do Microsoft Fabric e por que ele é importante?

O lineage de dados do Microsoft Fabric rastreia o fluxo de dados desde a origem até o destino entre os itens do Fabric, mostrando como os dados se movem por pipelines, modelos semânticos e saídas. Ele é importante porque possibilita a governança de dados e a análise de impacto, além de ajudar as equipes de ciência de dados e de business intelligence a identificar a origem de problemas nos dados, validar transformações (incluindo cargas delta) e garantir relatórios precisos em múltiplas cargas de trabalho.

Como a visualização de lineage ajuda na análise de impacto e no mapeamento de dependências?

A visualização de lineage mostra as dependências upstream e downstream entre itens do Fabric, como dataflows, tabelas e relatórios. Esse mapeamento permite a análise de impacto, para que você veja quais ativos downstream serão afetados por uma alteração, e também oferece suporte ao rastreamento de dependências entre o Fabric e múltiplos workspaces ou fontes.

O lineage do Microsoft Fabric consegue identificar a origem até o destino em vários serviços, como Azure e SQL Server?

Sim. O lineage do Fabric captura o fluxo de dados entre vários serviços, incluindo componentes da plataforma de dados do Azure e o SQL Server. Ele consegue identificar a origem até o destino dentro do Fabric, mostrando conexões desde bancos de dados locais e pipelines do Azure Data Factory até o armazenamento em nuvem, passando por modelos semânticos e saídas de business intelligence.

Como os recursos de lineage apoiam os fluxos de trabalho de ciência de dados e de business intelligence?

Os recursos de lineage dão às equipes de ciência de dados e de business intelligence visibilidade sobre como os datasets são construídos, quais transformações ocorrem e quais saídas dependem deles. Isso apoia experimentos reproduzíveis, a verificação dos dados de treinamento de modelos e a rastreabilidade de relatórios e painéis usados em BI, reduzindo riscos e aumentando a confiança nos resultados.

O que a visualização de lineage mostra para fluxos de dados delta e incrementais?

A visualização de linhagem pode mostrar fluxos de dados delta e incrementais, indicando as etapas ou pipelines específicos que executam atualizações incrementais ou cargas delta. Ela ajuda você a entender onde ocorre a captura de dados alterados (change data capture) ou o processamento delta e como essas atualizações incrementais se propagam para os modelos semânticos e as saídas finais.

Como posso usar a linhagem para identificar a origem de um problema de qualidade de dados?

Use o gráfico de linhagem para rastrear a saída afetada até as etapas anteriores, passando por transformações, pipelines e sistemas de origem. A visualização ajuda a identificar a tabela, API ou arquivo de origem que introduziu o problema e permite inspecionar itens intermediários do Fabric e modelos semânticos para restringir a causa raiz.

O Microsoft Fabric oferece APIs ou suporte técnico para automatizar o acesso à linhagem?

O Microsoft Fabric oferece APIs e integrações que podem ser usadas para consultar metadados de linhagem programaticamente, e a Microsoft Learn disponibiliza documentação e exemplos para você começar. Para problemas em produção, o suporte técnico e as atualizações de segurança estão disponíveis pelos canais de suporte padrão da Microsoft e pelos planos de suporte do Azure.

Como a segurança e a governança se relacionam com a linhagem e a visibilidade no Fabric?

A linhagem apoia a governança de dados ao facilitar a aplicação de políticas e o rastreamento da proveniência dos dados. Combinada com os controles de acesso na plataforma de dados e no Azure, a linhagem ajuda a garantir que dados sensíveis sejam tratados corretamente e que as atualizações de segurança e as trilhas de auditoria possam ser associadas a itens e processos específicos do Fabric.

Quais são as limitações comuns da linhagem no Fabric e como elas podem ser mitigadas?

As limitações comuns incluem metadados incompletos para determinadas fontes, restrições de desempenho em grafos muito grandes ou lacunas em conectores proprietários. As estratégias de mitigação incluem enriquecer os metadados durante a ingestão, dividir fluxos grandes em pipelines modulares e usar APIs para complementar as informações de linhagem com documentação externa ou rastreamento personalizado.

Como a linhagem se integra aos modelos semânticos e às saídas de BI?

A linhagem conecta os modelos semânticos aos seus conjuntos de dados e pipelines de ETL de origem e mostra quais relatórios e painéis de business intelligence consomem esses modelos. Isso permite que as equipes de BI vejam como as mudanças na plataforma de dados afetam os modelos semânticos e as saídas, e planejem atualizações ou atualizações de dados de acordo.

Onde posso encontrar recursos adicionais e material de aprendizado sobre a linhagem no Fabric?

Os recursos adicionais incluem módulos da Microsoft Learn, documentação oficial no site do Microsoft Fabric, blogs da comunidade e guias do Azure Data Factory. Esses recursos abordam o uso das visualizações de linhagem, APIs, práticas de governança e melhores práticas para mapear fluxos de dados entre itens do Fabric e modelos semânticos.

Como começo a criar uma visualização de linhagem para meus pipelines do Data Factory e fontes SQL?

Comece catalogando suas fontes (SQL Server, armazenamento do Azure, APIs), instrumentando pipelines e itens do Fabric para emitir metadados e habilitando a coleta de linhagem no Fabric. Use os recursos de mapeamento de pipelines e dependências para visualizar os fluxos entre os itens do Fabric e, em seguida, valide se os modelos semânticos e as saídas de BI refletem as conexões upstream esperadas.