M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions m365con.net

Mapping data flows

Product

Визуально спроектированные трансформации данных без кода в Azure Data Factory, которые выполняются как действия внутри конвейеров на кластерах Apache Spark, управляемых сервисом.

◆ PRODUCTMapping data flowsM365.FM
Title graphic: Mapping data flows (Product)

Также обсуждаются

В выпуске на тему Mapping data flows обсуждаются также: Integration runtime и Azure Data Factory.

Description

Сопоставляемые потоки данных (mapping data flows) — это визуально спроектированные преобразования данных в Azure Data Factory. По данным Microsoft Learn, эта страница также относится к Azure Synapse Analytics. Они позволяют разработчикам создавать логику преобразования без написания кода. Служба берёт на себя трансляцию кода, оптимизацию путей и выполнение заданий потока данных, которые работают на масштабируемых кластерах Apache Spark, управляемых службой.

Сопоставляемый поток данных не запускается самостоятельно. Он выполняется как действие внутри конвейера. В этом действии конвейера выбираются среда интеграции и значения параметров. Благодаря этому поток данных может использовать функции планирования, управления потоком и мониторинга, которые уже существуют для конвейеров Azure Data Factory, и не требует отдельного механизма оркестрации.

Рабочая среда разработки построена вокруг холста с тремя основными областями. Верхняя панель предлагает функции сохранения, проверки и просмотра JSON или скрипта потока данных. Граф показывает поток от источника к приёмнику, так что путь данных через преобразования виден с первого взгляда. Для выбранного преобразования появляется панель настроек. Каждое преобразование предоставляет вкладки для собственных параметров, оптимизации секций, метаданных только для чтения и предварительного просмотра данных.

В документации отмечено несколько практических ограничений. Предварительный просмотр данных работает только при включённом режиме отладки. Вкладка инспекции не показывает метаданные, если у источника не задана схема, что типично для дрейфа схемы. Тем, кто проектирует потоки для источников с меняющейся структурой, следует учитывать это поведение при проверке метаданных во время разработки.

Как правило, сопоставляемые потоки данных выбирают, когда логику преобразования нужно выразить визуально, а не в коде, в то время как окружающий конвейер отвечает за триггеры, планирование и мониторинг. Решение в основном касается того, где должна выполняться работа по преобразованию: в графическом потоке преобразований, выполняемом на управляемом Spark, или в другом месте платформы данных. В документации также упоминается Dataflow Gen2 в Microsoft Fabric как сопоставимая технология, что важно для команд, взвешивающих Azure Data Factory против Fabric.

Выпуск M365.FM «Azure Data Factory - Simply Explained» рассматривает сопоставляемые потоки данных в разделе «Transforming Without Code». Они размещены рядом с другими строительными блоками службы: конвейерами и действиями, связанными службами и наборами данных, средами интеграции, а также триггерами и планированием. Тот же выпуск сравнивает Azure Data Factory с конвейерами Fabric и обсуждает стоимость и лучшие практики.

Выпуск «What Microsoft Fabric Means for Power BI Professionals» упоминает сопоставляемые потоки данных в учебном плане по приёму и интеграции данных в Fabric. Там изучение сопоставляемых потоков данных и преобразования данных перечислено вместе с изучением коннекторов и практикой приёма данных в OneLake с использованием возможностей Data Factory в Fabric. Это показывает, как данная концепция встречается как в контексте Azure Data Factory, так и в обсуждениях платформы данных Fabric.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Что такое сопоставляемые потоки данных в Azure Data Factory? (AI)

Это визуально спроектированные преобразования данных, для которых не требуется код. Служба транслирует проект и выполняет его на масштабируемых кластерах Apache Spark, которыми она управляет.

Как выполняется сопоставляемый поток данных? (AI)

Он выполняется как действие внутри конвейера, где выбираются среда интеграции и значения параметров. Это позволяет использовать существующие функции планирования, управления потоком и мониторинга конвейеров.

Почему предварительный просмотр данных или метаданные иногда не отображаются? (AI)

Предварительный просмотр данных работает только при включённом режиме отладки. Вкладка инспекции не показывает метаданные, если у источника не задана схема, что типично для дрейфа схемы.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: