Mapping data flows
Product
Визуально спроектированные трансформации данных без кода в Azure Data Factory, которые выполняются как действия внутри конвейеров на кластерах Apache Spark, управляемых сервисом.
Также обсуждаются
В выпуске на тему Mapping data flows обсуждаются также: Integration runtime и Azure Data Factory.
Description
Сопоставляемые потоки данных (mapping data flows) — это визуально спроектированные преобразования данных в Azure Data Factory. По данным Microsoft Learn, эта страница также относится к Azure Synapse Analytics. Они позволяют разработчикам создавать логику преобразования без написания кода. Служба берёт на себя трансляцию кода, оптимизацию путей и выполнение заданий потока данных, которые работают на масштабируемых кластерах Apache Spark, управляемых службой.
Сопоставляемый поток данных не запускается самостоятельно. Он выполняется как действие внутри конвейера. В этом действии конвейера выбираются среда интеграции и значения параметров. Благодаря этому поток данных может использовать функции планирования, управления потоком и мониторинга, которые уже существуют для конвейеров Azure Data Factory, и не требует отдельного механизма оркестрации.
Рабочая среда разработки построена вокруг холста с тремя основными областями. Верхняя панель предлагает функции сохранения, проверки и просмотра JSON или скрипта потока данных. Граф показывает поток от источника к приёмнику, так что путь данных через преобразования виден с первого взгляда. Для выбранного преобразования появляется панель настроек. Каждое преобразование предоставляет вкладки для собственных параметров, оптимизации секций, метаданных только для чтения и предварительного просмотра данных.
В документации отмечено несколько практических ограничений. Предварительный просмотр данных работает только при включённом режиме отладки. Вкладка инспекции не показывает метаданные, если у источника не задана схема, что типично для дрейфа схемы. Тем, кто проектирует потоки для источников с меняющейся структурой, следует учитывать это поведение при проверке метаданных во время разработки.
Как правило, сопоставляемые потоки данных выбирают, когда логику преобразования нужно выразить визуально, а не в коде, в то время как окружающий конвейер отвечает за триггеры, планирование и мониторинг. Решение в основном касается того, где должна выполняться работа по преобразованию: в графическом потоке преобразований, выполняемом на управляемом Spark, или в другом месте платформы данных. В документации также упоминается Dataflow Gen2 в Microsoft Fabric как сопоставимая технология, что важно для команд, взвешивающих Azure Data Factory против Fabric.
Выпуск M365.FM «Azure Data Factory - Simply Explained» рассматривает сопоставляемые потоки данных в разделе «Transforming Without Code». Они размещены рядом с другими строительными блоками службы: конвейерами и действиями, связанными службами и наборами данных, средами интеграции, а также триггерами и планированием. Тот же выпуск сравнивает Azure Data Factory с конвейерами Fabric и обсуждает стоимость и лучшие практики.
Выпуск «What Microsoft Fabric Means for Power BI Professionals» упоминает сопоставляемые потоки данных в учебном плане по приёму и интеграции данных в Fabric. Там изучение сопоставляемых потоков данных и преобразования данных перечислено вместе с изучением коннекторов и практикой приёма данных в OneLake с использованием возможностей Data Factory в Fabric. Это показывает, как данная концепция встречается как в контексте Azure Data Factory, так и в обсуждениях платформы данных Fabric.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Что такое сопоставляемые потоки данных в Azure Data Factory? (AI)
Это визуально спроектированные преобразования данных, для которых не требуется код. Служба транслирует проект и выполняет его на масштабируемых кластерах Apache Spark, которыми она управляет.
Как выполняется сопоставляемый поток данных? (AI)
Он выполняется как действие внутри конвейера, где выбираются среда интеграции и значения параметров. Это позволяет использовать существующие функции планирования, управления потоком и мониторинга конвейеров.
Почему предварительный просмотр данных или метаданные иногда не отображаются? (AI)
Предварительный просмотр данных работает только при включённом режиме отладки. Вкладка инспекции не показывает метаданные, если у источника не задана схема, что типично для дрейфа схемы.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: