Dominando a Arquitetura Lakehouse: Bronze, Prata e Ouro no Microsoft Fabric

By Mirko Peters · 2026-08-28

Que bom ter você de volta ao blog complementar do podcast! No nosso episódio mais recente, mergulhamos nas realidades práticas da engenharia de aprendizado de máquina dentro do Micro…

Automatically translated with AI from the original post. Read the English original

Bem-vindo de volta ao blog complementar do podcast! No nosso episódio mais recente, mergulhamos nas realidades práticas da engenharia de machine learning dentro do ecossistema Microsoft. Se você ainda não ouviu, não deixe de conferir Build Machine Learning Models in Microsoft Fabric. Hoje, vamos aprofundar esses conceitos e explorar como estruturar seus dados usando uma arquitetura medalhão dentro de um Lakehouse do Microsoft Fabric forma a base absoluta de uma operação de machine learning bem-sucedida e escalável.

Criar modelos de machine learning prontos para produção não se resume a escolher o algoritmo certo ou ajustar hiperparâmetros. Na maioria das vezes, o sucesso dos seus modelos preditivos depende de higiene de dados, pipelines reproduzíveis e governança robusta. Vamos detalhar como dominar a sua arquitetura Lakehouse usando o Microsoft Fabric.

Arquitetura em resumo

Ao projetar uma plataforma completa de dados e machine learning no Microsoft Fabric, entender o fluxo dos dados é essencial. Tudo começa no OneLake, que funciona como a camada de armazenamento unificada. A partir daí, os dados são direcionados para um Lakehouse, onde passam pelas tabelas Delta bronze, prata e ouro.

Para o processamento, os Notebooks do Fabric oferecem aos cientistas de dados um stack de data science pré-carregado, baseado em Spark, Python e R. O rastreamento de experimentos é feito de forma integrada, com execuções do MLflow nativas que registram métricas, parâmetros e artefatos sem exigir servidores de rastreamento externos. Depois que os modelos são treinados, eles passam para o registro unificado, com versionamento, aprovações e linhagem de dados completa. Por fim, os modelos são disponibilizados por meio de jobs em lote gerenciados ou endpoints HTTP em tempo real, alimentando consumidores como Power BI, Power Apps e clientes de API personalizados.

Lakehouse: domine as entradas, mantenha o controle

A filosofia central de um Lakehouse é unir a flexibilidade de um data lake à confiabilidade de um data warehouse. Para que isso funcione bem, você precisa estruturar seus dados em camadas distintas.

Organize suas tabelas em camadas

• Bronze: Esta é a sua camada de ingestão bruta. Os dados chegam aqui com base nos princípios de schema-on-read e permanecem imutáveis para auditoria e reprocessamento.
• Prata: Nesta camada, os dados são limpos, tipados e combinados. O PII é minimizado e as verificações iniciais de qualidade são aplicadas.
• Ouro: A camada ouro contém agregações prontas para features, construídas sobre contratos de dados claros e documentados, que seus modelos de machine learning podem consumir diretamente.

Acesso por finalidade

Utilize o controle de acesso baseado em funções (RBAC) do workspace combinado com listas de controle de acesso em nível de tabela. Conceda aos cientistas de dados acesso de leitura às tabelas prata e ouro, restringindo o acesso de gravação especificamente às tabelas de features e aos diretórios experimentais.

Barreiras de qualidade de dados

Implemente expectativas rígidas para restrições de not-null, intervalos de valores e integridade referencial. Quando linhas falharem nessas verificações, direcione-as diretamente para uma tabela _quarantine, para que seus pipelines downstream não falhem silenciosamente nem ingiram dados corrompidos.

Feature store simplificado

Trate suas features reutilizáveis como tabelas ouro, por exemplo feat_customer_rolling_90d, e acompanhe-as com um dicionário de dados em YAML para garantir que sua equipe entenda o que cada feature representa.

Notebooks sem dor de cabeça

A programação colaborativa pode se tornar caótica rapidamente se os desenvolvedores usarem ambientes diferentes. O Fabric oferece kernels pré-instalados, incluindo pandas, PySpark, scikit-learn e PyTorch, garantindo que todos trabalhem a partir exatamente da mesma base.

Adote uma estrutura de projeto organizada, separando notebooks exploratórios, scripts de engenharia de features, rotinas de treinamento de modelos e arquivos de configuração. Mantenha a reprodutibilidade no código, e não em cliques manuais na interface. Leia do seu Lakehouse via Spark SQL, grave as features finais como tabelas Delta e sempre disponibilize tabelas de amostra menores para desenvolvimento, para que sua equipe possa iterar rapidamente sem esperar por consultas em conjuntos de dados completos e massivos.

Acompanhe tudo com o MLflow (integrado)

O acompanhamento manual dos experimentos de modelos leva a resultados impossíveis de replicar. Ao usar a integração nativa do MLflow no Fabric, você garante comparabilidade entre execuções, auditabilidade completa e reversões sem complicação quando um modelo recém-implantado tem desempenho inferior.

Registre todos os hiperparâmetros, as métricas de avaliação e os artefatos do modelo treinado diretamente nos seus scripts de treinamento. Marque suas execuções com metadados contextuais, como janela de dados, versões do conjunto de features e hashes de commit do código, e vincule suas tabelas de treinamento a versões específicas de snapshot do Delta.

Registro, aprovações e linhagem

Mover um modelo da experimentação para a produção nunca deveria ser um jogo de adivinhação. Promova as suas execuções com melhor desempenho para um Modelo Registrado usando versionamento semântico, como 1.0.0. Implemente um processo de aprovação em duas etapas, exigindo a aprovação tanto do responsável por ciência de dados quanto do responsável de negócio. Por fim, registre metadados abrangentes do model card, detalhando a finalidade do modelo, o escopo dos dados, as observações sobre equidade e os objetivos de nível de serviço (SLOs) de monitoramento.

Opções de serving (escolha de acordo com a carga de trabalho)

Pontuação em lote (barata e confiável)

Para cargas de trabalho que não exigem respostas instantâneas, em menos de um segundo, a pontuação em lote é a sua melhor aliada. Use jobs agendados do Fabric ou notebooks para ler os modelos de produção do registro, aplicá-los aos conjuntos de dados em lote e gravar as previsões de volta no Lakehouse.

Endpoint em tempo real (aplicações interativas)

Quando seus usuários precisam de retorno imediato, como na validação de formulários ou na pontuação de risco ao clicar em um botão, implante o modelo registrado como um endpoint gerenciado em tempo real diretamente pela interface do usuário do Fabric. Exponha um contrato JSON previsível e conecte-o com segurança ao Power Apps ou a aplicações externas.

Monitoramento e retreinamento

Implantar um modelo é apenas metade da batalha. Você precisa monitorar continuamente o drift de dados, comparando as distribuições ativas das features com a base de referência do treinamento, usando limiares de divergência de Kullback-Leibler ou de Population Stability Index. Acompanhe métricas de saúde operacional, incluindo latência do endpoint, taxas de erro e custo por mil pontuações. Automatize seus pipelines de retreinamento combinando gatilhos baseados em tempo e alertas de drift baseados em eventos, para garantir que seus modelos continuem precisos ao longo do tempo.

Segurança e conformidade

Manter a segurança é fundamental ao lidar com dados corporativos. Aplique o princípio do menor privilégio, concedendo aos cientistas de dados acesso de leitura às camadas silver e gold e restringindo as permissões de gravação a diretórios designados de features e experimentos. Use identidades gerenciadas e o Azure Key Vault para o armazenamento de todas as credenciais, garantindo que nenhum segredo fique codificado nos seus notebooks. Minimize a exposição de PII aplicando hash ou tokenização às informações sensíveis logo no início da camada silver, para que elas nunca se propaguem para os seus repositórios de features.

O que medir (comprove valor rapidamente)

Para demonstrar rapidamente o valor das suas iniciativas de machine learning, foque nas métricas certas. Meça o poder do modelo com AUC e precision-at-k para rankings, acompanhe o impacto no negócio por meio de receita incremental ou redução das taxas de churn, monitore a velocidade desde a prontidão dos dados até a implantação em produção e avalie a confiabilidade da infraestrutura e a eficiência de custo por mil previsões.

Plano de implantação em 14 dias

Se você quer sair do zero até uma implantação do Fabric pronta para produção rapidamente, siga este plano estruturado de duas semanas:

• Dias 1–2: Higiene do Lakehouse, estrutura bronze/silver/gold, ACLs e verificações de qualidade.
• Dia 3: Estrutura dos notebooks, funções auxiliares de dados e tabelas de exemplo para desenvolvimento.
• Dias 4–5: Conjunto de features v1, treinamento do modelo de referência e registro com MLflow.
• Dia 6: Conjunto de avaliação, criação do model card e registro do modelo (v0.1).
• Dia 7: Criação do job de pontuação em lote e integração com o dashboard do Power BI.
• Dia 8: MVP de monitoramento, verificações de drift e registro operacional.
• Dia 9: Implementação do fluxo de aprovação e promoção para produção.
• Dia 10: Configuração do endpoint em tempo real, controle de throughput e registro de requisições (se aplicável).
• Dias 11–12: Testes A/B, backtesting e definição dos KPIs de negócio.
• Dia 13: Governança de custos, limites de autoscaling e plano de implantação canary.
• Dia 14: Documentação do runbook, transferência para a equipe e planejamento do backlog.

Armadilhas comuns (e correções rápidas)

Até equipes experientes encontram obstáculos. Evite a "roleta de notebooks" fixando seus ambientes em kernels padrão do Fabric. Não teste exclusivamente com amostras pequenas que quebram ao escalar para conjuntos de dados completos. Evite "modelos fantasma" em produção aplicando rigorosamente fluxos de promoção no registro. Mantenha seus custos de nuvem sob controle adotando processamento em lote sempre que possível e armazenando em cache os recursos derivados.

Trechos úteis

Para ajudar você a começar seu próximo projeto, aqui vai um trecho rápido que demonstra como ler uma versão específica de uma tabela Delta:

sales_v = spark.read.option("versionAsOf", 123).table("lakehouse.gold.sales_txn")

Se você quiser extrair a importância das features usando scikit-learn e registrá-la diretamente no MLflow, use esta abordagem:

import pandas as pd
fi = pd.Series(clf.feature_importances_, index=feature_cols).sort_values(ascending=False)
mlflow.log_artifact(fi.head(30).to_frame("importance").to_csv("fi.csv", index=True))

E para calcular o Índice de Estabilidade Populacional (PSI, na sigla em inglês) para detecção de drift:

import numpy as np
def psi(expected, actual, bins=10):
    e, b = np.histogram(expected, bins=bins, range=(np.min(expected), np.max(expected)))
    a, _ = np.histogram(actual,   bins=b,     range=(np.min(expected), np.max(expected)))
    e = np.clip(e / e.sum(), 1e-6, None); a = np.clip(a / a.sum(), 1e-6, None)
    return np.sum((a - e) * np.log(a / e))

Se quiser, deixe nos comentários os nomes das suas tabelas atuais do Lakehouse e um caso de uso alvo, como previsão de churn de clientes, pontuação de leads ou previsão de demanda, ou entre em contato diretamente. Vou montar um conjunto mínimo de features, a escolha de um modelo de referência e a integração exata em lote ou em tempo real para ajudar você a colocar no ar sua primeira implantação do Microsoft Fabric rapidamente!