M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Mapping data flows

Product

Transformações de dados visuais e sem código no Azure Data Factory, executadas como atividades dentro de pipelines em clusters Apache Spark gerenciados pelo serviço.

◆ PRODUCTMapping data flowsM365.FM
Title graphic: Mapping data flows (Product)

Também abordados

O episódio sobre Mapping data flows aborda também Integration runtime e Azure Data Factory.

Descrição

Os fluxos de dados de mapeamento são transformações de dados projetadas visualmente no Azure Data Factory. De acordo com o Microsoft Learn, a página também se aplica ao Azure Synapse Analytics. Eles permitem que desenvolvedores criem a lógica de transformação sem escrever código. O serviço cuida da tradução de código, da otimização de caminhos e da execução das tarefas de fluxo de dados, que rodam em clusters Apache Spark escalados que o próprio serviço gerencia.

Um fluxo de dados de mapeamento não é executado por conta própria. Ele é executado como uma atividade dentro de um pipeline. Nessa atividade do pipeline, são escolhidos o runtime de integração e os valores dos parâmetros. Por isso, um fluxo de dados pode usar os recursos de agendamento, controle de fluxo e monitoramento que já existem para os pipelines do Azure Data Factory, sem precisar de um mecanismo separado de orquestração.

A experiência de criação é baseada em uma tela com três áreas principais. Uma barra superior oferece funções para salvar, validar e visualizar o JSON ou o script do fluxo de dados. Um gráfico mostra o fluxo da origem até o destino, para que o caminho dos dados pelas transformações fique visível de relance. Um painel de configuração aparece para a transformação selecionada. Cada transformação oferece abas para suas próprias configurações, para a otimização de partições, para uma inspeção somente leitura de metadados e para uma prévia dos dados.

A documentação registra algumas restrições práticas. A prévia dos dados funciona apenas quando o modo de depuração está ativado. A aba de inspeção não mostra metadados quando a origem não tem um esquema definido, o que é típico em casos de desvio de esquema (schema drift). Quem projeta fluxos para origens com estruturas em mudança deve esperar esse comportamento ao inspecionar metadados durante o desenvolvimento.

Em situações típicas, os fluxos de dados de mapeamento são escolhidos quando a lógica de transformação deve ser expressa visualmente, em vez de em código, enquanto o pipeline ao redor cuida dos gatilhos, do agendamento e do monitoramento. A decisão está principalmente em onde o trabalho de transformação deve ficar: em um fluxo gráfico de transformações executado em Spark gerenciado, ou em outro ponto da plataforma de dados. A documentação também aponta o Dataflow Gen2 no Microsoft Fabric como uma tecnologia comparável, o que é relevante para equipes que avaliam o Azure Data Factory frente ao Fabric.

O episódio do M365.FM "Azure Data Factory - Simply Explained" aborda os fluxos de dados de mapeamento sob o título "Transforming Without Code". Ele os posiciona ao lado dos outros blocos de construção do serviço: pipelines e atividades, serviços vinculados e conjuntos de dados, runtimes de integração, e gatilhos e agendamento. O mesmo episódio também compara o Azure Data Factory com os pipelines do Fabric e discute custos e melhores práticas.

O episódio "What Microsoft Fabric Means for Power BI Professionals" menciona os fluxos de dados de mapeamento em um roteiro de aprendizado sobre ingestão e integração de dados no Fabric. Ali, o aprendizado de fluxos de dados de mapeamento e de transformação de dados aparece junto com a exploração de conectores e a prática de ingestão no OneLake, usando os recursos do Data Factory no Fabric. Isso mostra como o conceito aparece tanto no contexto do Azure Data Factory quanto nas discussões sobre a plataforma de dados do Fabric.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TipoProduct

Perguntas frequentes

Questions marked with AI were written with AI from the facts on this page.

O que são fluxos de dados de mapeamento no Azure Data Factory? (AI)

São transformações de dados projetadas visualmente, que não exigem código. O serviço traduz o design e o executa em clusters Apache Spark escalados que ele gerencia.

Como um fluxo de dados de mapeamento é executado? (AI)

Ele é executado como uma atividade dentro de um pipeline, onde são selecionados o runtime de integração e os valores dos parâmetros. Isso permite usar os recursos existentes de agendamento, controle de fluxo e monitoramento dos pipelines.

Por que a prévia dos dados ou os metadados às vezes não são exibidos? (AI)

A prévia dos dados funciona apenas quando o modo de depuração está ativado. A aba de inspeção não mostra metadados quando a origem não tem um esquema definido, o que é típico em casos de desvio de esquema (schema drift).

Glossário

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Especialistas e empresas para este tópico

Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: