Data Factory in Microsoft Fabric
Product
Интеграция данных, встроенная в Microsoft Fabric для перемещения и преобразования данных с помощью конвейеров, Dataflow Gen2, copy jobs и mirroring; Microsoft позиционирует её как преемника Azure Data Factory.
Часто обсуждают вместе
В выпусках на тему Data Factory in Microsoft Fabric часто обсуждаются также: Fabric notebooks.
Description
Data Factory in Microsoft Fabric — это сервис интеграции данных, встроенный в Microsoft Fabric. Microsoft описывает его как следующее поколение Azure Data Factory. Его назначение — собрать данные, разбросанные по базам данных, файлам, облачным сервисам и устаревшим системам, очистить их и подготовить для аналитики в lakehouse или хранилище данных. Перемещением и преобразованием можно управлять из единого интерфейса. Для использования требуется учётная запись арендатора Fabric с активной подпиской и рабочая область с включённым Fabric.
Сервис подключается к более чем ста источникам данных. Среди них мультиоблачные и гибридные источники, доступ к которым возможен через локальные шлюзы. Поддерживаются как шаблоны ETL, так и ELT, поэтому команды могут выбрать, преобразуются ли данные до или после их загрузки в целевое хранилище.
Для перемещения данных в документации названо несколько вариантов. Copy job — предпочтительный вариант; он поддерживает массовое копирование, инкрементальное копирование и копирование с захватом изменений (change data capture). Действие копирования внутри конвейера даёт ручной контроль над параллелизмом. Mirroring поддерживает почти реальную по времени реплику операционной базы данных в OneLake. Выбор между ними обычно зависит от того, нужна ли однократная загрузка, регулярная инкрементальная загрузка или постоянно обновляемая реплика, а также от того, насколько важен контроль над процессом копирования.
Преобразования могут выполняться несколькими способами. Действия конвейера могут вызывать блокноты, определения заданий Spark, хранимые процедуры и SQL-скрипты. Dataflow Gen2 предлагает низкокодовый интерфейс для обработки данных. Задания dbt можно запускать против хранилища данных Fabric. Это позволяет командам, работающим как с кодом, так и с низкокодовыми инструментами, работать в одной среде.
Оркестрация охватывает расписания, триггеры на основе событий, управление потоком в конструкторе конвейеров и DAG Apache Airflow. Copilot может создавать конвейеры и потоки данных по запросам на естественном языке и объяснять ошибки, что помогает при построении или устранении неполадок в логике интеграции.
Безопасность — повторяющаяся тема в материалах M365.FM. Эпизод «Secure Microsoft Fabric Data Pipelines» рекомендует регулярно пересматривать политики перемещения данных и обновлять их по мере роста организации или появления новых угроз. В нём говорится, что надёжная защита перемещения данных защищает конфиденциальную информацию и помогает соблюдать требования законодательства. В эпизоде также обсуждается аутентификация с управляемым удостоверением для защиты Data Factory in Microsoft Fabric. По словам эпизода, этот метод позволяет конвейерам подключаться к ресурсам без хранения паролей или секретов, что устраняет риски, связанные с жёстко заданными учётными данными.
На практике команды, работающие с Data Factory in Microsoft Fabric, выбирают подходящий способ перемещения для каждого источника, подход к преобразованиям с учётом своих навыков, а также определяют, как аутентифицировать и管理 конвейеры. Поскольку сервис находится внутри Fabric, его результаты напрямую поступают в средства lakehouse и хранилища, которые остальная платформа использует для аналитики.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|---|
| Documentation | Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Что такое Data Factory in Microsoft Fabric? (AI)
Это сервис интеграции данных в Microsoft Fabric для перемещения и преобразования данных с помощью конвейеров, Dataflow Gen2, copy jobs и mirroring. Microsoft описывает его как следующее поколение Azure Data Factory.
Какие варианты существуют для перемещения данных в Data Factory in Microsoft Fabric? (AI)
Copy job — предпочтительный вариант; он поддерживает массовое копирование, инкрементальное копирование и копирование с захватом изменений. Действие копирования даёт ручной контроль над параллелизмом, а mirroring поддерживает почти реальную по времени реплику операционной базы данных в OneLake.
Как защитить конвейеры согласно M365.FM? (AI)
Эпизод «Secure Microsoft Fabric Data Pipelines» рекомендует аутентификацию с управляемым удостоверением, которая подключает к ресурсам без хранения паролей или секретов в конвейерах. Также он советует регулярно пересматривать политики перемещения данных.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: