M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions m365con.net

Data Factory in Microsoft Fabric

Product

Интеграция данных, встроенная в Microsoft Fabric для перемещения и преобразования данных с помощью конвейеров, Dataflow Gen2, copy jobs и mirroring; Microsoft позиционирует её как преемника Azure Data Factory.

◆ PRODUCTData Factory inMicrosoft FabricM365.FM
Title graphic: Data Factory in Microsoft Fabric (Product)

Часто обсуждают вместе

В выпусках на тему Data Factory in Microsoft Fabric часто обсуждаются также: Fabric notebooks.

Description

Data Factory in Microsoft Fabric — это сервис интеграции данных, встроенный в Microsoft Fabric. Microsoft описывает его как следующее поколение Azure Data Factory. Его назначение — собрать данные, разбросанные по базам данных, файлам, облачным сервисам и устаревшим системам, очистить их и подготовить для аналитики в lakehouse или хранилище данных. Перемещением и преобразованием можно управлять из единого интерфейса. Для использования требуется учётная запись арендатора Fabric с активной подпиской и рабочая область с включённым Fabric.

Сервис подключается к более чем ста источникам данных. Среди них мультиоблачные и гибридные источники, доступ к которым возможен через локальные шлюзы. Поддерживаются как шаблоны ETL, так и ELT, поэтому команды могут выбрать, преобразуются ли данные до или после их загрузки в целевое хранилище.

Для перемещения данных в документации названо несколько вариантов. Copy job — предпочтительный вариант; он поддерживает массовое копирование, инкрементальное копирование и копирование с захватом изменений (change data capture). Действие копирования внутри конвейера даёт ручной контроль над параллелизмом. Mirroring поддерживает почти реальную по времени реплику операционной базы данных в OneLake. Выбор между ними обычно зависит от того, нужна ли однократная загрузка, регулярная инкрементальная загрузка или постоянно обновляемая реплика, а также от того, насколько важен контроль над процессом копирования.

Преобразования могут выполняться несколькими способами. Действия конвейера могут вызывать блокноты, определения заданий Spark, хранимые процедуры и SQL-скрипты. Dataflow Gen2 предлагает низкокодовый интерфейс для обработки данных. Задания dbt можно запускать против хранилища данных Fabric. Это позволяет командам, работающим как с кодом, так и с низкокодовыми инструментами, работать в одной среде.

Оркестрация охватывает расписания, триггеры на основе событий, управление потоком в конструкторе конвейеров и DAG Apache Airflow. Copilot может создавать конвейеры и потоки данных по запросам на естественном языке и объяснять ошибки, что помогает при построении или устранении неполадок в логике интеграции.

Безопасность — повторяющаяся тема в материалах M365.FM. Эпизод «Secure Microsoft Fabric Data Pipelines» рекомендует регулярно пересматривать политики перемещения данных и обновлять их по мере роста организации или появления новых угроз. В нём говорится, что надёжная защита перемещения данных защищает конфиденциальную информацию и помогает соблюдать требования законодательства. В эпизоде также обсуждается аутентификация с управляемым удостоверением для защиты Data Factory in Microsoft Fabric. По словам эпизода, этот метод позволяет конвейерам подключаться к ресурсам без хранения паролей или секретов, что устраняет риски, связанные с жёстко заданными учётными данными.

На практике команды, работающие с Data Factory in Microsoft Fabric, выбирают подходящий способ перемещения для каждого источника, подход к преобразованиям с учётом своих навыков, а также определяют, как аутентифицировать и管理 конвейеры. Поскольку сервис находится внутри Fabric, его результаты напрямую поступают в средства lakehouse и хранилища, которые остальная платформа использует для аналитики.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct
DocumentationData Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Что такое Data Factory in Microsoft Fabric? (AI)

Это сервис интеграции данных в Microsoft Fabric для перемещения и преобразования данных с помощью конвейеров, Dataflow Gen2, copy jobs и mirroring. Microsoft описывает его как следующее поколение Azure Data Factory.

Какие варианты существуют для перемещения данных в Data Factory in Microsoft Fabric? (AI)

Copy job — предпочтительный вариант; он поддерживает массовое копирование, инкрементальное копирование и копирование с захватом изменений. Действие копирования даёт ручной контроль над параллелизмом, а mirroring поддерживает почти реальную по времени реплику операционной базы данных в OneLake.

Как защитить конвейеры согласно M365.FM? (AI)

Эпизод «Secure Microsoft Fabric Data Pipelines» рекомендует аутентификацию с управляемым удостоверением, которая подключает к ресурсам без хранения паролей или секретов в конвейерах. Также он советует регулярно пересматривать политики перемещения данных.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: