Dataflows Gen1 vs Gen2 no Microsoft Fabric: como escolher a arquitetura certa de staging e computação

By Mirko Peters · 2026-10-28

Compare os Dataflows Gen1 e Gen2 no Microsoft Fabric. Veja como armazenamento, staging de computação e capacidade afetam sua estratégia de ETL na nuvem.

Automatically translated with AI from the original post. Read the English original

Ao migrar cargas de trabalho de ETL para o Microsoft Fabric, escolher a arquitetura certa de staging e computação entre os Dataflows Gen1 e Gen2 impacta diretamente o desempenho dos seus pipelines, os custos de recursos e a confiabilidade dos dados. Entender as diferenças fundamentais na alocação de computação e no tratamento de armazenamento evita gargalos arquiteturais custosos antes que sua equipe escale os relatórios.

Principais conclusões

• Os Dataflows Gen2 trazem integração nativa com o OneLake, mudando fundamentalmente a forma como os dados são preparados (staged) e armazenados em comparação com o Gen1.
• Escolher a opção de computação incorreta durante a criação pode levar a limitação inesperada de capacidade e degradação de desempenho no seu workspace do Fabric.
• O Gen1 dependia muito de mecanismos de armazenamento externos, enquanto o Gen2 grava diretamente em tabelas do Lakehouse do Fabric como destino padrão.
• A configuração adequada do staging evita transformações de dados redundantes e otimiza as atualizações do seu modelo semântico do Power BI.
• Alinhar sua estratégia de ETL às unidades de capacidade do Fabric garante que sua organização evite custos de computação descontrolados.

Entendendo a mudança arquitetural no Fabric

A transição dos dataflows legados do Power BI para os dataflows do Microsoft Fabric não é apenas uma questão de renomeação; ela representa uma reformulação arquitetural completa de como os dados na nuvem são ingeridos, transformados e persistidos. No mundo legado do Gen1, os dataflows eram projetados principalmente para alimentar modelos semânticos do Power BI. Eles operavam em um ecossistema relativamente isolado, em que as transformações de dados ocorriam no Power Query Online e a saída era armazenada em um armazenamento interno gerenciado inteiramente pelo serviço do Power BI.

Com a introdução do Microsoft Fabric, os Dataflows Gen2 foram criados desde o início para usar o OneLake como repositório central de dados. Isso significa que toda transformação aplicada no Power Query Online deixa de ficar presa a um contêiner de modelo proprietário. Em vez disso, o Gen2 preenche a lacuna entre a preparação de dados tradicional em autoatendimento e a engenharia de dados corporativa, gravando diretamente em tabelas Delta Parquet, um formato aberto, dentro de um Lakehouse do Fabric. Essa mudança fundamental altera a forma como arquitetos de nuvem abordam o staging de dados, o uso de computação e a confiabilidade dos relatórios downstream.

A mudança de paradigma no armazenamento

Em configurações legadas, se um analista de negócios precisava limpar uma exportação do Excel, remover linhas em branco e formatar datas, esses dados ficavam restritos ao armazenamento do dataflow. Se outro departamento quisesse usar esse mesmo conjunto de dados já limpo, geralmente tinha que buscá-lo no relatório ou recriar a consulta. Os Dataflows Gen2 resolvem isso tratando o Lakehouse como o destino principal. Assim que o dataflow é executado, os dados limpos ficam imediatamente disponíveis como tabelas Delta, prontas para notebooks Spark, pontos de extremidade de análise SQL e relatórios DirectLake diretos, sem necessidade de movimentação extra de dados.

A decisão de computação e preparação que a maioria das equipes ignora

Uma das decisões arquiteturais mais críticas que os engenheiros enfrentam ao criar Dataflows Gen2 é como gerenciar as fases de computação e preparação (staging). Diferentemente do Gen1, em que o gerenciamento de computação era em grande parte abstraído e, às vezes, opaco, o Gen2 roda sobre as Unidades de Capacidade (CUs) do Fabric subjacentes. Se sua organização não monitorar com cuidado como e quando os dados são preparados durante a fase de avaliação da consulta, você corre o risco de consumir sua alocação de capacidade mais rápido do que o esperado.

Ao aplicar transformações complexas, o Power Query avalia se as etapas podem ser transferidas (folded) de volta para a fonte de dados ou se precisam ser executadas localmente no mecanismo do dataflow. No Gen2, a área de staging funciona como uma zona de pouso intermediária. Se estiver mal configurada, grandes volumes de dados podem ser repetidamente carregados na memória, processados e gravados, gerando sobrecarga desnecessária de computação. Os arquitetos devem avaliar seus sistemas de origem, a latência de rede e a complexidade das transformações para decidir se devem enviar o processamento para o banco de dados de origem ou deixar que o Fabric faça o trabalho pesado.

Otimizando Unidades de Capacidade para cargas de trabalho de ETL

A capacidade do Fabric é um pool compartilhado em toda a organização. Quando um Dataflow Gen2 mal otimizado executa atualizações agendadas durante o horário de pico de negócios, ele pode consumir a capacidade e causar limitações (throttling) que afetam a renderização de relatórios do Power BI para os usuários executivos. Para evitar isso, as equipes devem isolar os trabalhos pesados de ETL em workspaces dedicados, com reservas de capacidade adequadas, ou agendá-los para fora do horário de pico. Entender como os trabalhos de computação em segundo plano interagem com as cargas de trabalho interativas é essencial para manter um ambiente Fabric estável.

Construindo confiança por meio de uma arquitetura consistente

O objetivo final de modernizar seus pipelines de dados é eliminar os ajustes manuais no Excel que atrapalham os relatórios de negócios. Quando os relatórios falham, raramente é por falta de dados; quase sempre é por falta de confiança. Quando os usuários veem números conflitantes porque um relatório usa um CSV bruto e outro usa um dataflow legado, a adoção despenca.

Ao padronizar nos Dataflows Gen2 e aproveitar a arquitetura de Lakehouse, as organizações estabelecem uma única fonte da verdade. Datas limpas, nomes de colunas padronizados e lógica de negócio validada são codificados uma única vez no dataflow e propagados automaticamente para as camadas seguintes. Isso reduz erros humanos, elimina a dependência de computadores de mesa individuais e garante que, quando a liderança abrir um painel, os números subjacentes sejam confiáveis e prontos para auditoria.

Conclusão

Migrar e construir com Dataflows Gen2 exige uma mudança na forma como você pensa sobre armazenamento em nuvem, orçamentos de computação e governança de dados. Começando por um único processo repetitivo e bagunçado em planilhas e mapeando-o corretamente para um Lakehouse do Fabric, sua equipe pode construir pipelines escaláveis que resistam ao tempo. Para conhecer os conceitos fundamentais por trás dessa evolução e ouvir a opinião de especialistas sobre estratégias modernas de nuvem da Microsoft, não deixe de ouvir o episódio completo do M365 FM Podcast.

Perguntas frequentes

Qual é a principal diferença entre o Dataflows Gen1 e o Gen2 em relação ao armazenamento?

Os Dataflows Gen1 armazenam os dados transformados dentro dos limites de armazenamento interno do Power BI, enquanto os Dataflows Gen2 gravam nativamente em tabelas Delta Parquet de formato aberto dentro de um Lakehouse do Microsoft Fabric, por meio do OneLake.

Como os Dataflows Gen2 impactam as unidades de capacidade do Fabric?

Os Dataflows Gen2 consomem a capacidade subjacente do Fabric durante as fases de computação e preparação. Transformações mal otimizadas ou atualizações pesadas em horários de pico podem esgotar sua alocação de capacidade e limitar (throttle) outras cargas de trabalho.

Os Dataflows Gen2 podem substituir os pipelines tradicionais do Azure Data Factory?

Para preparação de dados de autoatendimento, ETL leve e transformação de dados low-code, os Dataflows Gen2 são uma excelente alternativa. No entanto, para orquestração corporativa complexa, lógica de ramificação e engenharia de dados avançada, o Azure Data Factory ou os Fabric Pipelines continuam sendo as ferramentas preferidas.

Por que a fase de staging é importante nos Dataflows Gen2?

A fase de staging funciona como uma área intermediária de armazenamento para as transformações de dados. Configurar o staging corretamente evita o processamento redundante de dados, otimiza o query folding e garante gravações eficientes no Lakehouse de destino.

Como os Dataflows Gen2 melhoram a confiabilidade dos dados em relatórios?

Ao automatizar a limpeza de exportações manuais desorganizadas e centralizar as transformações em tabelas reutilizáveis do Lakehouse, o Gen2 elimina os workarounds manuais no Excel e garante dados consistentes e confiáveis em todos os relatórios downstream.