Data Factory in Microsoft Fabric
Product
A experiência de integração de dados integrada ao Microsoft Fabric para mover e transformar dados com pipelines, Dataflow Gen2, copy jobs e mirroring; a Microsoft a posiciona como a sucessora do Azure Data Factory.
Frequentemente tratados em conjunto
Os episódios sobre Data Factory in Microsoft Fabric costumam abordar também Fabric notebooks.
Descrição
O Data Factory no Microsoft Fabric é o serviço de integração de dados integrado ao Microsoft Fabric. A Microsoft o descreve como a próxima geração do Azure Data Factory. Seu objetivo é reunir dados espalhados por bancos de dados, arquivos, serviços em nuvem e sistemas legados, limpá-los e prepará-los para análises em um lakehouse ou data warehouse. A movimentação e a transformação são orquestradas a partir de uma única interface. Para usá-lo, é necessária uma conta de locatário do Fabric com uma assinatura ativa e um workspace com o Fabric habilitado.
O serviço se conecta a mais de uma centena de fontes de dados. Isso inclui fontes multicloud e híbridas, que podem ser acessadas por meio de gateways locais. Os padrões ETL e ELT são ambos suportados, para que as equipes possam escolher se os dados são transformados antes ou depois de chegar ao destino.
Para mover dados, a documentação indica várias opções. Um copy job é a opção preferida e lida com cópias em massa, cópias incrementais e cópias com change data capture. A atividade de cópia dentro de um pipeline oferece controle manual sobre o paralelismo. O mirroring mantém uma réplica quase em tempo real de um banco de dados operacional no OneLake. A escolha entre elas normalmente depende de se é necessária uma carga única, uma carga incremental recorrente ou uma réplica continuamente atualizada, além de quanto controle se exige sobre o processo de cópia.
As transformações podem ser executadas de várias formas. As atividades de pipeline podem chamar notebooks, definições de job Spark, stored procedures e scripts SQL. O Dataflow Gen2 oferece uma interface low-code para moldar os dados. Jobs dbt podem ser executados em um data warehouse do Fabric. Isso permite que equipes orientadas a código e equipes low-code trabalhem no mesmo ambiente.
A orquestração abrange agendamentos, gatilhos baseados em eventos, controle de fluxo no designer de pipelines e DAGs do Apache Airflow. O Copilot pode criar pipelines e dataflows a partir de prompts em linguagem natural e pode explicar erros, o que pode ajudar ao construir ou solucionar problemas na lógica de integração.
A segurança é um tema recorrente na cobertura do M365.FM. O episódio "Secure Microsoft Fabric Data Pipelines" aconselha revisar regularmente as políticas de movimentação de dados e atualizá-las conforme a organização cresce ou novas ameaças surgem. O episódio afirma que uma segurança sólida na movimentação de dados protege informações sensíveis e apoia a conformidade com regulamentações. O episódio também discute a autenticação por identidade gerenciada para proteger o Data Factory no Microsoft Fabric. Segundo o episódio, esse método permite que os pipelines se conectem a recursos sem armazenar senhas ou segredos, o que evita os riscos associados a credenciais codificadas no código.
Na prática, as equipes que trabalham com o Data Factory no Microsoft Fabric decidem qual método de movimentação se adequa a cada fonte, qual abordagem de transformação combina com suas habilidades e como autenticar e governar os pipelines. Como o serviço fica dentro do Fabric, sua saída alimenta diretamente as experiências de lakehouse e warehouse que o restante da plataforma usa para análises.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Tipo | Product |
|---|---|
| Documentação | Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com |
Perguntas frequentes
Questions marked with AI were written with AI from the facts on this page.
O que é o Data Factory no Microsoft Fabric? (AI)
É o serviço de integração de dados do Microsoft Fabric para mover e transformar dados usando pipelines, Dataflow Gen2, copy jobs e mirroring. A Microsoft o descreve como a próxima geração do Azure Data Factory.
Quais opções existem para mover dados no Data Factory no Microsoft Fabric? (AI)
Um copy job é a opção preferida e lida com cópias em massa, incrementais e com change data capture. A atividade de cópia oferece controle manual sobre o paralelismo, e o mirroring mantém uma réplica quase em tempo real de um banco de dados operacional no OneLake.
Como os pipelines podem ser protegidos segundo o M365.FM? (AI)
O episódio "Secure Microsoft Fabric Data Pipelines" recomenda a autenticação por identidade gerenciada, que conecta a recursos sem armazenar senhas ou segredos nos pipelines. Ele também aconselha revisar regularmente as políticas de movimentação de dados.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Especialistas e empresas para este tópico
Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.
Sources
- Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: