Data Factory in Microsoft Fabric
Product
Інтеграція даних, вбудована в Microsoft Fabric, для переміщення та перетворення даних за допомогою конвеєрів, Dataflow Gen2, завдань копіювання та дзеркального відображення; Microsoft позиціонує її як наступника Azure Data Factory.
Часто обговорюють разом
У випусках на тему Data Factory in Microsoft Fabric часто обговорюють також: Fabric notebooks.
Description
Data Factory у Microsoft Fabric — це сервіс інтеграції даних, вбудований у Microsoft Fabric. Microsoft описує його як наступне покоління Azure Data Factory. Його призначення — зібрати дані, розкидані між базами даних, файлами, хмарними сервісами та застарілими системами, очистити їх і підготувати для аналітики в lakehouse або сховищі даних. Переміщення та перетворення оркеструються з одного інтерфейсу. Для роботи потрібен обліковий запис клієнта Fabric з активною підпискою та робочий простір із увімкненим Fabric.
Сервіс підключається до понад ста джерел даних. Серед них є мультихмарні та гібридні джерела, до яких можна звертатися через локальні шлюзи. Підтримуються шаблони ETL і ELT, тож команди можуть самі вирішити, чи перетворювати дані до або після їх надходження в цільове сховище.
Для переміщення даних документація називає кілька варіантів. Завдання копіювання є кращим варіантом і підтримує масове копіювання, інкрементальне копіювання та копіювання з відстеженням змін (change data capture). Дія копіювання всередині конвеєра дає ручний контроль над паралельністю. Дзеркальне відображення підтримує близьку до реального часу репліку операційної бази даних в OneLake. Вибір між ними зазвичай залежить від того, чи потрібне одноразове завантаження, регулярне інкрементальне завантаження чи безперервно оновлювана репліка, а також від того, наскільки потрібен контроль над процесом копіювання.
Перетворення можна виконувати кількома способами. Дії конвеєра можуть викликати блокноти, визначення завдань Spark, збережені процедури та SQL-скрипти. Dataflow Gen2 пропонує низькокодовий інтерфейс для формування даних. Завдання dbt можна запускати для сховища даних Fabric. Це дає змогу командам, які пишуть код, і командам, які працюють низькокодово, працювати в одному середовищі.
Оркестрація охоплює розклади, тригери на основі подій, керування потоком у конструкторі конвеєрів і DAG Apache Airflow. Copilot може створювати конвеєри та потоки даних за запитами природною мовою й пояснювати помилки, що допомагає під час побудови або усунення несправностей логіки інтеграції.
Безпека є повторюваною темою в матеріалах M365.FM. Епізод «Secure Microsoft Fabric Data Pipelines» радить регулярно переглядати політики переміщення даних і оновлювати їх у міру зростання організації або появи нових загроз. У ньому зазначено, що надійна безпека переміщення даних захищає конфіденційну інформацію та допомагає дотримуватися вимог регуляторів. Епізод також розглядає автентифікацію через керовані ідентифікатори для захисту Data Factory у Microsoft Fabric. За словами епізоду, цей метод дозволяє конвеєрам підключатися до ресурсів без зберігання паролів чи секретів, що усуває ризики, пов'язані з жорстко закодованими обліковими даними.
На практиці команди, які працюють з Data Factory у Microsoft Fabric, вирішують, який спосіб переміщення підходить для кожного джерела, який підхід до перетворень відповідає їхнім навичкам, і як автентифікувати та керувати конвеєрами. Оскільки сервіс працює всередині Fabric, його результати напряму надходять у середовища lakehouse і сховища даних, які використовує решта платформи для аналітики.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|---|
| Documentation | Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Що таке Data Factory у Microsoft Fabric? (AI)
Це сервіс інтеграції даних у Microsoft Fabric для переміщення та перетворення даних за допомогою конвеєрів, Dataflow Gen2, завдань копіювання та дзеркального відображення. Microsoft описує його як наступне покоління Azure Data Factory.
Які є варіанти переміщення даних у Data Factory у Microsoft Fabric? (AI)
Завдання копіювання є кращим варіантом і підтримує масове, інкрементальне копіювання та копіювання з відстеженням змін. Дія копіювання дає ручний контроль над паралельністю, а дзеркальне відображення підтримує близьку до реального часу репліку операційної бази даних в OneLake.
Як можна захистити конвеєри згідно з M365.FM? (AI)
Епізод «Secure Microsoft Fabric Data Pipelines» рекомендує автентифікацію через керовані ідентифікатори, яка підключає конвеєри до ресурсів без зберігання паролів або секретів. Також він радить регулярно переглядати політики переміщення даних.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: