Как Dataflows Gen2 влияют на емкость Fabric (capacity units)?

Dataflows Gen2 используют емкость Fabric на этапах вычислений и staging. Неоптимизированные преобразования или запуск тяжелых обновлений в часы пиковой нагрузки могут исчерпать выделенную емкость и ограничить работу других рабочих нагрузок.

Почему этап staging важен в Dataflows Gen2?

Этап staging служит промежуточной зоной для данных при преобразованиях. Правильная настройка staging предотвращает повторную обработку данных, оптимизирует query folding и обеспечивает эффективную запись в целевой Lakehouse.

Dataflows Gen1 и Gen2 в Microsoft Fabric: выбор правильной архитектуры staging и вычислений

Q: В чем главное различие между Dataflows Gen1 и Gen2 в части хранения данных?

Dataflows Gen1 хранят преобразованные данные во внутреннем хранилище Power BI, тогда как Dataflows Gen2 записывают данные напрямую в таблицы Delta Parquet открытого формата в Lakehouse Microsoft Fabric через OneLake.

Q: Могут ли Dataflows Gen2 заменить традиционные конвейеры Azure Data Factory?

Для self-service подготовки данных, облегченного ETL и низкокодовых преобразований Dataflows Gen2 — отличная альтернатива. Однако для сложной корпоративной оркестрации, ветвящейся логики и продвинутой инженерии данных предпочтительными инструментами остаются Azure Data Factory или конвейеры Fabric.

By Mirko Peters · 2026-10-28

Сравнение Dataflows Gen1 и Gen2 в Microsoft Fabric. Узнайте, как хранение, staging-вычисления и емкость влияют на вашу стратегию облачного ETL.

Automatically translated with AI from the original post. Read the English original

Cover: Fabric Dataflows Gen2 - Simply Explained

При миграции рабочих нагрузок ETL в Microsoft Fabric выбор правильной архитектуры staging и вычислений между Dataflows Gen1 и Gen2 напрямую влияет на производительность конвейеров, затраты на ресурсы и достоверность данных. Понимание базовых различий в распределении вычислений и обработке хранилища позволяет избежать дорогостоящих архитектурных узких мест еще до того, как ваша команда начнет масштабировать отчеты.

Главное

Dataflows Gen2 обеспечивает нативную интеграцию с OneLake, что принципиально меняет способ staging и хранения данных по сравнению с Gen1.
Выбор неподходящего варианта вычислений при создании потока может привести к неожиданному ограничению емкости и снижению производительности в вашем рабочем пространстве Fabric.
Gen1 в значительной степени опирался на внешние механизмы хранения, тогда как Gen2 по умолчанию записывает данные непосредственно в таблицы Lakehouse Fabric.
Правильная настройка staging предотвращает избыточные преобразования данных и оптимизирует обновления семантических моделей Power BI.
Согласование стратегии ETL с единицами емкости Fabric помогает организации избежать неконтролируемых затрат на вычисления.

Понимание архитектурного сдвига в Fabric

Переход от классических потоков данных Power BI к потокам данных Microsoft Fabric — это не просто смена названия; это полная архитектурная перестройка того, как облачные данные загружаются, преобразуются и сохраняются. В классическом мире Gen1 потоки данных создавались в первую очередь для питания семантических моделей Power BI. Они работали в относительно изолированной экосистеме: преобразования выполнялись в Power Query Online, а результат сохранялся во внутреннем хранилище, полностью управляемом службой Power BI.

С появлением Microsoft Fabric Dataflows Gen2 изначально построены на использовании OneLake как центрального хранилища данных. Это означает, что каждое преобразование, которое вы применяете в Power Query Online, больше не заперто внутри закрытого контейнера модели. Вместо этого Gen2 соединяет самоподготовку данных и корпоративную инженерию данных, записывая данные напрямую в таблицы Delta Parquet открытого формата в Lakehouse Fabric. Это фундаментальное изменение влияет на то, как облачные архитекторы подходят к staging данных, использованию вычислительных ресурсов и доверию к данным в последующей отчетности.

Сдвиг парадигмы хранения

В прежних схемах, если бизнес-аналитику нужно было очистить выгрузку из Excel, удалить пустые строки и привести даты к нужному формату, эти данные оставались внутри хранилища dataflow. Если другому отделу требовался тот же очищенный набор данных, ему часто приходилось забирать его из отчёта или заново создавать запрос. Dataflows Gen2 решает эту проблему, делая Lakehouse основным целевым местом назначения. Как только dataflow выполняется, очищенные данные сразу становятся доступны в виде таблиц Delta: их можно использовать в блокнотах Spark, конечных точках аналитики SQL и напрямую в отчётах DirectLake без дополнительного перемещения данных.

Решение о вычислениях и промежуточном хранении, которое упускают большинство команд

Одно из самых важных архитектурных решений, с которыми сталкиваются инженеры при создании Dataflows Gen2, — управление этапами вычислений и промежуточного хранения. В отличие от Gen1, где управление вычислениями было в значительной степени абстрагировано и иногда непрозрачно, Gen2 работает на базе единиц емкости Fabric (CU). Если организация не отслеживает тщательно, как и когда данные помещаются в промежуточное хранилище на этапе оценки запроса, вы рискуете расходовать емкость быстрее, чем ожидали.

При сложных преобразованиях Power Query определяет, можно ли перенести («свернуть») шаги обратно к источнику данных или их необходимо выполнить локально в движке dataflow. В Gen2 область промежуточного хранения выступает как промежуточная зона приёма. При неправильной настройке большие наборы данных могут многократно загружаться в память, обрабатываться и записываться обратно, создавая ненужную нагрузку на вычисления. Архитекторам нужно оценить свои исходные системы, сетевую задержку и сложность преобразований, чтобы решить, стоит ли перенести обработку на исходную базу данных или поручить тяжёлую работу Fabric.

Оптимизация единиц емкости для рабочих нагрузок ETL

Емкость Fabric — это общий пул ресурсов всей организации. Если неоптимизированный Dataflow Gen2 запускает плановые обновления в часы пик, он может занять ресурсы и вызвать ограничения, которые скажутся на отрисовке отчётов Power BI для руководителей. Чтобы этого избежать, команды должны выносить тяжёлые задачи ETL в отдельные рабочие области с выделенными резервированиями емкости или планировать их на нерабочее время. Понимание того, как фоновые вычислительные задачи взаимодействуют с интерактивными нагрузками, необходимо для стабильной работы среды Fabric.

Доверие благодаря единой архитектуре

Главная цель модернизации конвейеров данных — избавиться от ручных правок в Excel, которые мучают бизнес-отчётность. Когда отчёты дают сбой, причина редко в нехватке данных; почти всегда дело в недостатке доверия. Когда пользователи видят противоречивые цифры, потому что один отчёт берёт данные из сырого CSV, а другой — из устаревшего dataflow, внедрение резко падает.

Стандартизируя работу на Dataflows Gen2 и используя архитектуру Lakehouse, организации получают единый источник истины. Очищенные даты, стандартизированные имена столбцов и проверенная бизнес-логика фиксируются один раз в dataflow и автоматически передаются дальше по цепочке. Это снижает количество человеческих ошибок, устраняет зависимость от отдельных настольных компьютеров и гарантирует, что когда руководство открывает дашборд, лежащие в его основе цифры надёжны и готовы к аудиту.

Заключение

Миграция и разработка на Dataflows Gen2 требуют иного подхода к хранению в облаке, бюджетам вычислений и управлению данными. Начните с одного повторяющегося процесса работы с беспорядочными таблицами, правильно перенесите его в Lakehouse Fabric, и ваша команда сможет построить масштабируемые конвейеры, которые выдержат проверку временем. Чтобы разобраться в базовых концепциях этой эволюции и послушать мнения экспертов о современных стратегиях работы с облачными сервисами Microsoft, обязательно послушайте полный выпуск подкаста M365 FM.

Часто задаваемые вопросы

В чём основное различие между Dataflows Gen1 и Gen2 с точки зрения хранения данных?

Dataflows Gen1 хранят преобразованные данные во внутренних границах хранилища Power BI, тогда как Dataflows Gen2 записывают данные напрямую в таблицы Delta Parquet открытого формата внутри Lakehouse Microsoft Fabric через OneLake.

Как Dataflows Gen2 влияют на единицы емкости Fabric?

Dataflows Gen2 потребляют емкость Fabric на этапах вычислений и промежуточного хранения. Неоптимизированные преобразования или тяжёлые обновления в часы пик могут исчерпать выделенную емкость и ограничить работу других нагрузок.

Могут ли Dataflows Gen2 заменить традиционные конвейеры Azure Data Factory?

Для самообслуживания при подготовке данных, облегчённого ETL и трансформации данных с низким уровнем кода Dataflows Gen2 — отличная альтернатива. Однако для сложной корпоративной оркестрации, ветвящейся логики и продвинутой инженерии данных по-прежнему предпочтительнее использовать Azure Data Factory или Fabric Pipelines.

Зачем важна фаза staging в Dataflows Gen2?

Фаза staging служит промежуточной зоной для трансформаций данных. Правильная настройка staging предотвращает избыточную обработку данных, оптимизирует query folding и обеспечивает эффективную запись в целевой Lakehouse.

Как Dataflows Gen2 повышают доверие к данным в отчётности?

Автоматизируя очистку разрозненных ручных выгрузок и централизуя трансформации в многократно используемых таблицах Lakehouse, Gen2 устраняет ручные обходные решения в Excel и обеспечивает согласованные, надёжные данные во всех последующих отчётах.