Dominando a arquitetura Bronze-Silver-Gold no Microsoft Fabric

By Mirko Peters · 2026-08-28

Automatically translated with AI from the original post. Read the English original

Cover: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric

Bem-vindo de volta ao blog! Se você acompanha nossas jornadas em podcast, sabe o quanto somos obcecados em encontrar formas de simplificar o gerenciamento de dados, eliminar silos e, de fato, extrair insights acionáveis dos dados corporativos. Hoje, vamos mergulhar fundo na estruturação dos seus pipelines de dados usando a arquitetura medalhão dentro do Microsoft Fabric. Especificamente, veremos como os dados brutos passam da camada bronze para a camada silver e, por fim, chegam à camada gold, garantindo que sua organização tenha analytics limpos, confiáveis e extremamente rápidos.

Quando as organizações começam a usar analytics na nuvem, muitas vezes cometem o erro de jogar tudo em um único repositório de armazenamento caótico. Sem um caminho claro para a maturação dos dados, as equipes acabam lidando com problemas de qualidade, métricas conflitantes e pesadelos de conformidade. É aí que a arquitetura medalhão entra em cena. Ao estabelecer uma progressão clara pelas camadas bronze, silver e gold, você constrói uma base confiável que transforma entradas caóticas em ativos prontos para uso corporativo. Vamos percorrer, passo a passo, como isso funciona dentro do ecossistema do Microsoft Fabric.

Antes de mergulhar no layout técnico, gostaria de incentivar você a conferir nosso episódio de podcast relacionado, Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric. Nele, detalhamos esses padrões exatos, discutimos como o OneLake une tudo e exploramos estratégias do mundo real para unificar a governança de dados e os fluxos de trabalho de IA.

Introdução à arquitetura medalhão no Microsoft Fabric

A arquitetura medalhão é um padrão de design de dados que organiza logicamente os dados em um data lake, com o objetivo de melhorar de forma incremental e progressiva a estrutura e a qualidade dos dados à medida que eles fluem por cada camada do pipeline. No Microsoft Fabric, essa arquitetura é suportada nativamente pelo OneLake, pelo armazenamento no formato Delta Lake e por mecanismos de computação poderosos como Spark e Data Factory.

Por que nos importamos em estruturar os pipelines dessa forma? Em muitas empresas, os dados brutos chegam em incontáveis formatos: arquivos JSON de APIs, CSVs de sistemas legados, telemetria em streaming de dispositivos IoT e registros transacionais de bancos de dados. Se você tentar consultar essa massa bruta diretamente, seus dashboards ficarão lentos, os usuários de negócio se confundirão com nomes de colunas bagunçados e seus engenheiros de dados passarão o tempo todo corrigindo relatórios quebrados em vez de entregar valor para o negócio.

Ao aplicar uma progressão bronze-silver-gold, você cria limites claros de responsabilidade:

Camada Bronze: ingerir e preservar a verdade bruta.
Camada Silver: limpar, transformar e integrar em tabelas estruturadas.
Camada Gold: agregar, otimizar e entregar analytics prontos para o negócio.

Vamos explorar cada uma dessas camadas em detalhes para ver como elas funcionam em um ambiente moderno do Microsoft Fabric.

Entendendo a camada Bronze: ingestão de dados brutos

A camada bronze, muitas vezes chamada de camada bruta ou de landing, é a primeira parada de todos os dados que entram no seu ecossistema do Microsoft Fabric. O objetivo principal aqui é simples, mas essencial: capturar os dados o mais rápido possível, em seu formato original e sem alterações, e armazená-los com segurança.

Ao projetar sua camada bronze, resista à tentação de aplicar lógica de negócio, corrigir erros de digitação ou remover colunas. Por quê? Porque, se um script de transformação posterior corromper os dados ou eliminar um campo que a conformidade exigir depois, você precisará de um registro histórico íntegro e não editado para recorrer. A camada bronze funciona como sua trilha de auditoria imutável.

No Microsoft Fabric, normalmente você carrega esses dados no OneLake usando pipelines de dados, atividades de cópia ou fluxos de eventos em tempo real. Seja qual for a origem, como Dynamics 365, bancos Azure SQL, Salesforce ou buckets S3 externos, o Fabric torna a ingestão nativa algo simples. Os dados são armazenados em formatos abertos como Delta Parquet, que oferece transações ACID e consultas de alto desempenho logo de início.

Práticas essenciais para manter uma camada bronze saudável incluem:

Operações somente de anexação: Nunca atualize nem exclua registros na camada bronze. Sempre anexe novos arquivos ou linhas com carimbos de data/hora de ingestão.
Schema-on-read: Permita que dados semiestruturados (como payloads JSON aninhados) sejam carregados sem imposição rígida de esquema, para que você não descarte registros recebidos por causa de pequenas mudanças na origem.
Rastreamento de metadados: Adicione colunas de metadados durante a ingestão, como nome do sistema de origem, carimbo de data/hora de ingestão e ID do lote, para manter a rastreabilidade completa dos dados desde o primeiro dia.

Refinando os dados na camada Silver: limpeza e transformação

Quando seus dados estiverem seguros na camada bronze, é hora de avançá-los para a camada silver. É aqui que acontece o trabalho pesado da engenharia de dados. A camada silver pega as entradas brutas e desorganizadas e as transforma em conjuntos de dados limpos, validados e alinhados aos padrões corporativos.

Na camada silver, você passa de schema-on-read para schema-on-write. É aqui que você aplica as regras de negócio para garantir a integridade dos dados. As transformações comuns executadas na camada silver incluem:

Deduplicação: Identificar e remover registros de eventos duplicados ou entradas redundantes de clientes.
Tratamento de valores ausentes: Atribuir valores padrão, sinalizar anomalias de nulos ou descartar registros inválidos com base nas regras de governança de dados.
Padronização: Normalizar formatos de data, padronizar códigos de país, converter valores monetários para uma moeda base e ajustar a capitalização dos textos.
Imposição de tipos de dados: Converter representações em texto de números e datas para os tipos adequados de inteiro, ponto flutuante e carimbo de data/hora.
Junção e enriquecimento: Combinar tabelas operacionais brutas com dados de referência para criar entidades unificadas, como unir logs de transações de clientes com tabelas mestras de perfis de clientes.

No Microsoft Fabric, engenheiros de dados normalmente utilizam notebooks com Spark ou endpoints SQL dentro de um Lakehouse do Fabric para criar esses pipelines de transformação. Ao armazenar as tabelas silver como tabelas Delta, você ganha os benefícios de time travel, particionamento eficiente e atualizações incrementais de alta velocidade. Quando os dados chegam à camada silver, eles estão limpos, estruturados e prontos para alimentar análises departamentais especializadas ou modelos de machine learning.

Construindo a camada Gold: entregando analytics prontos para o negócio

Já ingerimos os dados brutos na camada bronze e os limpamos e padronizamos na camada silver. Agora chega a parte mais empolgante: construir a camada gold. A camada gold, muitas vezes chamada de camada de serving ou camada de apresentação, é onde os dados são moldados especificamente para responder a perguntas de negócio e apoiar a tomada de decisões executivas.

Diferentemente das tabelas granulares e altamente normalizadas da camada silver, as tabelas da camada gold normalmente são modeladas em esquemas dimensionais (star schemas), com tabelas de fatos e dimensões bem definidas. É aqui que você calcula indicadores-chave de desempenho (KPIs), receita recorrente mensal, taxas de churn de clientes, giro de estoque e outras métricas de negócio essenciais.

Como a camada gold é otimizada para consumo, o desempenho é tudo. No Microsoft Fabric, você pode expor suas tabelas gold diretamente por meio de um modelo semântico do Power BI ou de um endpoint SQL. Analistas de negócio e usuários de self-service podem se conectar a esses conjuntos de dados curados sem precisar entender as junções de tabelas nem a lógica de preparação de dados por trás deles.

Para maximizar o valor da sua camada gold, tenha em mente estes princípios:

Terminologia amigável ao negócio: Renomeie nomes técnicos de colunas (como `cust_id_fk_02`) para uma linguagem de negócio clara (como `Customer ID`).
Métricas pré-agregadas: Crie tabelas de resumo para relatórios históricos pesados, garantindo que os dashboards carreguem em milissegundos e não em minutos.
Alinhamento com a estratégia: Garanta que cada tabela e métrica da camada gold esteja diretamente ligada a um objetivo corporativo ou a uma necessidade de relatório.

Garantindo segurança e governança em todo o seu pipeline

Construir um pipeline bronze-silver-gold impecável é só metade da batalha. À medida que os dados fluem por essas camadas, você precisa garantir que informações sensíveis sejam protegidas, que os padrões de conformidade sejam atendidos e que usuários não autorizados sejam mantidos afastados. Felizmente, o Microsoft Fabric é construído com segurança de nível empresarial profundamente integrada à sua arquitetura.

A governança no Fabric é unificada pelo Microsoft Purview. À medida que seus dados passam de bronze para prata e depois para ouro, você consegue rastrear todo o seu linhagem de dados completa. Se um auditor perguntar de onde veio um número específico de receita em um painel executivo, seu grafo de linhagem mostrará a execução exata do pipeline, o notebook de transformação da camada prata e o arquivo bronze bruto de onde ele se originou.

O controle de acesso é gerenciado de forma transparente pelo Microsoft Entra ID. Você pode aplicar segurança em nível de linha (RLS) e segurança em nível de coluna na camada ouro, garantindo que os gerentes regionais de vendas vejam apenas os dados referentes aos seus territórios específicos. Além disso, o Fabric cuida automaticamente da criptografia em repouso e em trânsito, enquanto ferramentas como a Prevenção contra Perda de Dados (DLP) e os rótulos de confidencialidade impedem a exportação acidental de dados confidenciais da organização.

Ao incorporar segurança e governança em cada camada da sua arquitetura medallion, você elimina os riscos associados à proliferação descontrolada de dados e cria um ambiente de confiança absoluta entre seus usuários.

Benefícios reais e ROI de pipelines de dados estruturados

Adotar a arquitetura bronze-prata-ouro no Microsoft Fabric não é apenas uma boa prática de arquitetura; é um grande impulsionador de valor de negócio e de retorno sobre o investimento. Organizações que deixam o armazenamento de dados caótico e não estruturado e migram para um pipeline medallion gerenciado experimentam melhorias operacionais profundas.

Em primeiro lugar, a produtividade da engenharia de dados dispara. Em vez de escrever scripts personalizados e frágeis para cada nova solicitação de relatório, os engenheiros criam pipelines de transformação reutilizáveis que alimentam dados limpos nas camadas seguintes. Estudos sobre a adoção do Microsoft Fabric mostram organizações alcançando até 25% de aumento na produtividade da engenharia de dados e economizando milhões em tempo de analistas, porque os dados são fáceis de encontrar, confiáveis e de consultar.

Em segundo lugar, a análise de autoatendimento finalmente se torna realidade. Quando os usuários de negócio recebem acesso a conjuntos de dados ouro curados, com convenções de nomenclatura intuitivas e números confiáveis, eles deixam de criar planilhas paralelas e passam a confiar nos painéis oficiais do Power BI. Essa democratização dos dados fomenta uma cultura de colaboração e acelera significativamente os ciclos de tomada de decisão.

Por fim, a escalabilidade da arquitetura nativa da nuvem garante que, à medida que seu negócio cresce, sua infraestrutura de dados cresce junto, sem exigir esforços massivos de reestruturação. Seja para processar gigabytes ou petabytes de dados, o Microsoft Fabric gerencia o dimensionamento de computação de forma fluida e com boa relação custo-benefício.

Dominar a arquitetura bronze-prata-ouro no Microsoft Fabric é a maneira definitiva de colocar ordem no seu ecossistema de dados. Ao mover deliberadamente os dados da ingestão bruta para o refinamento limpo e, por fim, para uma apresentação pronta para o negócio, você desbloqueia todo o potencial dos ativos de informação da sua organização. Para ouvir mais análises de especialistas, detalhamentos de arquitetura e dicas práticas sobre como dominar esse ecossistema, não deixe de ouvir o episódio completo, Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric!

🎧 Ouça este episódio

Quer uma explicação prática sobre Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric? Este episódio explica o tema em linguagem clara e mostra por que ele importa para Microsoft 365, Azure, Power Platform, segurança, IA e trabalho moderno.

Ouça este episódio se você quer:

Entender os conceitos-chave por trás de Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric
Ver como ele se encaixa no ecossistema mais amplo de tecnologia da Microsoft
Descobrir onde ele pode gerar valor prático para sua organização

Você também pode gostar destes episódios relacionados do M365 FM:

Descubra mais conversas práticas sobre Microsoft em M365 FM.