M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions m365con.net

Mapping data flows

Product

Візуально спроєктовані трансформації даних без коду в Azure Data Factory, які виконуються як активності всередині конвеєрів на кластерах Apache Spark, якими керує сервіс.

◆ PRODUCTMapping data flowsM365.FM
Title graphic: Mapping data flows (Product)

Також обговорюють

У випуску на тему Mapping data flows обговорюють також: Integration runtime та Azure Data Factory.

Description

Мапінг-потоки даних — це візуально спроєктовані перетворення даних в Azure Data Factory. За документацією Microsoft Learn, ця сторінка також стосується Azure Synapse Analytics. Вони дозволяють розробникам створювати логіку перетворень без написання коду. Сервіс сам займається трансляцією коду, оптимізацією шляху та виконанням завдань потоків даних, які працюють на масштабованих кластерах Apache Spark, якими керує сервіс.

Мапінг-потік даних не запускається самостійно. Він виконується як активність у межах конвеєра. У цій активності конвеєра вибираються інтеграційне середовище виконання та значення параметрів. Завдяки цьому потік даних може використовувати наявні для конвеєрів Azure Data Factory можливості планування, керування потоком виконання та моніторингу, без потреби в окремому механізмі оркестрації.

Середовище створення побудоване навколо полотна з трьома основними областями. Верхня панель пропонує функції для збереження, перевірки та перегляду JSON або скрипта потоку даних. Граф показує потік від джерела до приймача, тож шлях даних через перетворення видно одразу. Для вибраного перетворення з'являється панель налаштувань. Кожне перетворення має вкладки для власних параметрів, оптимізації розділів, доступної лише для читання перевірки метаданих і попереднього перегляду даних.

Документація згадує кілька практичних обмежень. Попередній перегляд даних працює лише тоді, коли ввімкнено режим налагодження. Вкладка перевірки не показує метаданих, якщо джерело не має визначеної схеми, що типово для дрейфу схеми. Той, хто проєктує потоки для джерел зі змінною структурою, має очікувати такої поведінки під час перевірки метаданих на етапі розробки.

Зазвичай мапінг-потоки даних обирають тоді, коли логіку перетворень слід описувати візуально, а не кодом, тоді як навколишній конвеєр відповідає за тригери, планування та моніторинг. Рішення переважно стосується того, де має виконуватися робота з перетвореннями: у графічному потоці перетворень, що виконується на керованому Spark, чи деінде в даних платформі. Документація також вказує на Dataflow Gen2 у Microsoft Fabric як на порівнянну технологію, що важливо для команд, які зважують вибір між Azure Data Factory і Fabric.

Епізод M365.FM «Azure Data Factory - Simply Explained» розглядає мапінг-потоки даних у розділі «Transforming Without Code». Він розміщує їх поряд з іншими базовими елементами сервісу: конвеєрами та активностями, пов'язаними службами та наборами даних, інтеграційними середовищами виконання, а також тригерами та плануванням. Той самий епізод порівнює Azure Data Factory з конвеєрами Fabric і розповідає про витрати та найкращі практики.

Епізод «What Microsoft Fabric Means for Power BI Professionals» згадує мапінг-потоки даних у навчальному плані з прийому та інтеграції даних у Fabric. Там вивчення мапінг-потоків даних і перетворення даних перелічено разом із дослідженням конекторів і практикою прийому даних в OneLake з використанням можливостей Data Factory у Fabric. Це показує, як це поняття з'являється як у контексті Azure Data Factory, так і в обговореннях платформи даних Fabric.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Що таке мапінг-потоки даних в Azure Data Factory? (AI)

Це візуально спроєктовані перетворення даних, для яких не потрібен код. Сервіс перетворює проєкт і виконує його на масштабованих кластерах Apache Spark, якими він керує.

Як виконується мапінг-потік даних? (AI)

Він виконується як активність у межах конвеєра, де вибираються інтеграційне середовище виконання та значення параметрів. Це дозволяє використовувати наявні можливості планування, керування потоком виконання та моніторингу конвеєрів.

Чому попередній перегляд даних або метадані іноді не відображаються? (AI)

Попередній перегляд даних працює лише тоді, коли ввімкнено режим налагодження. Вкладка перевірки не показує метаданих, якщо джерело не має визначеної схеми, що типово для дрейфу схеми.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: