Mapping data flows
Product
Transformações de dados visuais e sem código no Azure Data Factory, executadas como atividades dentro de pipelines em clusters Apache Spark gerenciados pelo serviço.
Também abordados
O episódio sobre Mapping data flows aborda também Integration runtime e Azure Data Factory.
Descrição
Os fluxos de dados de mapeamento são transformações de dados projetadas visualmente no Azure Data Factory. De acordo com o Microsoft Learn, a página também se aplica ao Azure Synapse Analytics. Eles permitem que desenvolvedores criem a lógica de transformação sem escrever código. O serviço cuida da tradução de código, da otimização de caminhos e da execução das tarefas de fluxo de dados, que rodam em clusters Apache Spark escalados que o próprio serviço gerencia.
Um fluxo de dados de mapeamento não é executado por conta própria. Ele é executado como uma atividade dentro de um pipeline. Nessa atividade do pipeline, são escolhidos o runtime de integração e os valores dos parâmetros. Por isso, um fluxo de dados pode usar os recursos de agendamento, controle de fluxo e monitoramento que já existem para os pipelines do Azure Data Factory, sem precisar de um mecanismo separado de orquestração.
A experiência de criação é baseada em uma tela com três áreas principais. Uma barra superior oferece funções para salvar, validar e visualizar o JSON ou o script do fluxo de dados. Um gráfico mostra o fluxo da origem até o destino, para que o caminho dos dados pelas transformações fique visível de relance. Um painel de configuração aparece para a transformação selecionada. Cada transformação oferece abas para suas próprias configurações, para a otimização de partições, para uma inspeção somente leitura de metadados e para uma prévia dos dados.
A documentação registra algumas restrições práticas. A prévia dos dados funciona apenas quando o modo de depuração está ativado. A aba de inspeção não mostra metadados quando a origem não tem um esquema definido, o que é típico em casos de desvio de esquema (schema drift). Quem projeta fluxos para origens com estruturas em mudança deve esperar esse comportamento ao inspecionar metadados durante o desenvolvimento.
Em situações típicas, os fluxos de dados de mapeamento são escolhidos quando a lógica de transformação deve ser expressa visualmente, em vez de em código, enquanto o pipeline ao redor cuida dos gatilhos, do agendamento e do monitoramento. A decisão está principalmente em onde o trabalho de transformação deve ficar: em um fluxo gráfico de transformações executado em Spark gerenciado, ou em outro ponto da plataforma de dados. A documentação também aponta o Dataflow Gen2 no Microsoft Fabric como uma tecnologia comparável, o que é relevante para equipes que avaliam o Azure Data Factory frente ao Fabric.
O episódio do M365.FM "Azure Data Factory - Simply Explained" aborda os fluxos de dados de mapeamento sob o título "Transforming Without Code". Ele os posiciona ao lado dos outros blocos de construção do serviço: pipelines e atividades, serviços vinculados e conjuntos de dados, runtimes de integração, e gatilhos e agendamento. O mesmo episódio também compara o Azure Data Factory com os pipelines do Fabric e discute custos e melhores práticas.
O episódio "What Microsoft Fabric Means for Power BI Professionals" menciona os fluxos de dados de mapeamento em um roteiro de aprendizado sobre ingestão e integração de dados no Fabric. Ali, o aprendizado de fluxos de dados de mapeamento e de transformação de dados aparece junto com a exploração de conectores e a prática de ingestão no OneLake, usando os recursos do Data Factory no Fabric. Isso mostra como o conceito aparece tanto no contexto do Azure Data Factory quanto nas discussões sobre a plataforma de dados do Fabric.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Tipo | Product |
|---|
Perguntas frequentes
Questions marked with AI were written with AI from the facts on this page.
O que são fluxos de dados de mapeamento no Azure Data Factory? (AI)
São transformações de dados projetadas visualmente, que não exigem código. O serviço traduz o design e o executa em clusters Apache Spark escalados que ele gerencia.
Como um fluxo de dados de mapeamento é executado? (AI)
Ele é executado como uma atividade dentro de um pipeline, onde são selecionados o runtime de integração e os valores dos parâmetros. Isso permite usar os recursos existentes de agendamento, controle de fluxo e monitoramento dos pipelines.
Por que a prévia dos dados ou os metadados às vezes não são exibidos? (AI)
A prévia dos dados funciona apenas quando o modo de depuração está ativado. A aba de inspeção não mostra metadados quando a origem não tem um esquema definido, o que é típico em casos de desvio de esquema (schema drift).
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Especialistas e empresas para este tópico
Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: