2025-11-03
Снижение вычислительных затрат Dataflows Gen2 в Fabric

Большинство команд Microsoft Fabric теряют деньги, потому что относятся к Dataflows Gen2 как к старому ETL Power BI. В Fabric счётчик тарифицируется по вычислениям, а не по хранению, поэтому каждое избыточное обновление запускает кластеры, заново загружает те же источники и умножает расходы. Решение носит архитектурный характер, а не требует героических выгрузок в CSV. Существует всего три разумных шаблона: Bronze / Staging — однократно загрузить внешние данные в Delta (по возможности инкрементально). Все остальные ссылаются на них без повторной загрузки. Silver / Transform — централизовать бизнес-логику и контроль качества данных. Создавать вычисляемые сущности, обеспечивать согласованность семантики и связывать потоки с bronze для чистой трассировки происхождения данных. Gold / Serve — предоставлять потребителям курированные таблицы Delta (семантические модели Direct Lake, общие таблицы). Без импортных обновлений, без дублирования, с низкой задержкой. Выбор зависит от стоимости, управления и скорости. Небольшим командам подходят bronze и облегчённый silver. Крупным предприятиям — полноценные слои bronze/silver/gold с централизованным …