Когда использовать блокнот Fabric, а когда датафлоу: руководство для не-разработчиков

By Mirko Peters · 2026-10-24

Сравнение блокнотов Microsoft Fabric и датафлоу. Узнайте, когда использовать низкокодовые датафлоу, а когда блокноты Spark, исходя из ваших навыков и потребностей в данных.

Automatically translated with AI from the original post. Read the English original

Выбор между блокнотом Spark в Microsoft Fabric и датафлоу может поставить в тупик аналитиков, которые только начинают работать с облачной экосистемой данных. Это руководство поможет не-разработчикам выбрать подходящий инструмент преобразования данных в Microsoft Fabric: в нём низкокодовые датафлоу сравниваются с блокнотами, требующими написания кода, с учётом сложности, масштаба и потребностей в сопровождении.

Главное

• Датафлоу предоставляют визуальный низкокодовый интерфейс, идеальный для стандартных преобразований Power Query и повторяемой загрузки данных.
• Блокноты Fabric используют Spark и код (Python или PySpark) для работы со сложным машинным обучением, итеративной логикой и огромными наборами данных.
• Не-разработчикам, как правило, стоит начинать с датафлоу и переходить к блокнотам, только столкнувшись с конкретными ограничениями по производительности или нестандартной логикой.
• Правильный выбор инструмента помогает избежать ненужных затрат на сопровождение кода для команд без выделенных инженеров-разработчиков.
• Оба инструмента бесшовно интегрируются в общую архитектуру lakehouse и warehouse в Microsoft Fabric.

Обзор среды данных Fabric

Когда вы впервые открываете Microsoft Fabric, количество элементов рабочей области может легко вскружить голову. Инженеры данных, специалисты по data science и аналитики бизнес-аналитики внезапно начинают работать на одной единой аналитической платформе. Одна из самых частых точек путаницы — выбор основного инструмента для подготовки данных: стоит ли создать визуальный датафлоу или открыть блокнот, где нужно писать код?

На протяжении десятилетий специалисты по данным бились над этим выбором. С одной стороны — графические интерфейсы, которые скрывают базовый движок. С другой — чистый лист текстового редактора, ожидающий код на Python или Scala. В Fabric этот выбор напрямую сводится к выбору между Dataflows Gen2 и блокнотами Spark. Понимание того, когда использовать каждый из них, критически важно для поддержания аккуратной, масштабируемой среды данных без выгорания аналитиков.

Что такое Dataflow Gen2?

Dataflows Gen2 в Microsoft Fabric — это облачная эволюция Power Query. Если вы когда-либо создавали отчёты в Power BI, вы, скорее всего, сталкивались с редактором Power Query. Датафлоу переносят этот привычный опыт преобразования данных и масштабируют его, работая нативно внутри Fabric.

Они по своей сути визуальны. Вы нажимаете кнопки, чтобы удалить столбцы, объединить таблицы, изменить типы данных и отфильтровать строки. Под капотом Power Query превращает эти действия в код M, но заглядывать в него вам почти не придётся, если вы сами этого не захотите. Именно поэтому датафлоу так доступны бизнес-аналитикам и опытным пользователям, которые уже умеют подготавливать данные для отчётов.

Мощь и сложность блокнотов

С другой стороны, блокноты созданы для Apache Spark. Когда вы впервые открываете блокнот Fabric, вас встречает то, что выглядит как песочница разработчика: ячейки с кодом, непонятные сообщения об ошибках и параметры конфигурации пулов Spark.

Блокноты дают полный контроль. Вы можете писать собственные скрипты на Python, запускать алгоритмы машинного обучения, обрабатывать неструктурированные файлы и реализовывать сложную итеративную логику, которую визуальные инструменты просто не способны поддержать. Однако у этой мощи крутая кривая обучения. Если ваша основная задача — привести в порядок обычную таблицу продаж, открытие блокнота может ощущаться так, будто вы взялись за ремонт двигателя автомобиля, когда нужно было всего лишь заменить масло.

Матрица решений: Dataflows или ноутбуки

Чтобы выбрать правильный вариант для следующего конвейера данных, нужно сопоставить ваш конкретный сценарий с сильными сторонами каждого инструмента. Давайте разберём ключевые критерии, которые стоит учесть, прежде чем писать первую строку кода или добавлять первый шаг преобразования.

Соображения по объёму и масштабу

Хотя Dataflows Gen2 могут обрабатывать значительные объёмы данных, используя внутренние возможности Fabric's backend, именно для очень больших наборов данных или сложных задач распределённых вычислений раскрываются возможности Spark-ноутбуков. Если вы обрабатываете терабайты журналов, потоковую телеметрию в реальном времени или выполняете тяжёлые распределённые соединения нескольких разрозненных источников, ноутбук обеспечивает необходимую вычислительную мощность.

И наоборот, для стандартных корпоративных транзакционных и измерительных данных, которые хранятся в реляционных базах данных или SaaS-приложениях, Dataflows обеспечивают более чем достаточную производительность без накладных расходов на запуск и управление сеансами Spark-вычислений.

Навыки команды и сопровождение

Один из самых недооцененных факторов в архитектурных решениях — долгосрочное сопровождение. Кто будет поддерживать этот конвейер через полгода? Если вы создали сложный конвейер на основе пользовательского кода Python внутри ноутбука, а команда, которая его сопровождает, знает только SQL и Power Query, вы создали узкое место в эксплуатации.

Простота облегчает сопровождение. Если задачу можно чисто выполнить в Dataflow, часто разумнее остаться в низкокодовом подходе. Ноутбуки оставьте для сценариев, где бизнес-логика действительно требует продвинутых возможностей программирования или интеграции с наукой о данных.

Соединяем подходы: прагматичный рабочий процесс

Вам не обязательно выбирать один инструмент для всей организации. На самом деле зрелые архитектуры Fabric часто используют оба инструмента согласованно. Хорошая практика для непрограммистов — начать с изучения данных.

Используйте Dataflows, чтобы загружать, очищать и размещать основные измерительные таблицы в Lakehouse. Когда ваши данные структурированы и заслуживают доверия, можно подключать ноутбуки для продвинутой аналитики, обучения моделей машинного обучения или специализированных задач науки о данных, требующих программного управления.

Разделяя архитектуру на отдельные части, вы гарантируете, что бизнес-аналитики смогут комфортно работать в рамках своих навыков, а инженеры данных и опытные специалисты будут при необходимости использовать всю мощь Spark.

Заключение

Выбор между ноутбуком Fabric и Dataflow сводится к тому, чтобы подобрать инструмент под реальную бизнес-задачу, а не выбирать по умолчанию самый сложный вариант. Начните с оценки объёма данных, навыков команды и сложности преобразований. Чтобы глубже разобраться в том, как преодолеть первоначальную робость перед инструментами на основе кода, обязательно послушайте полный выпуск подкаста, где эксперт расскажет, как освоить рабочие процессы с данными в Microsoft Fabric.

Часто задаваемые вопросы

Могут ли непрограммисты успешно использовать ноутбуки Fabric?

Да, но для этого нужны терпение и готовность изучить базовый синтаксис Python или PySpark. Рекомендуется начать с более простых задач или низкокодовых Dataflows, прежде чем переходить к разработке полноценных ноутбуков.

Dataflows Gen2 работают медленнее, чем ноутбуки Spark?

Не обязательно. Для стандартных задач бизнес-аналитики и умеренных объёмов данных Dataflows Gen2 работают исключительно быстро и берут на себя настройку производительности.

Когда стоит перестать использовать Dataflow и перейти на ноутбук?

Стоит рассмотреть переход на ноутбук, если логика преобразования требует итеративных циклов, библиотек машинного обучения, сложного разбора неструктурированных файлов или распределённых вычислений, выходящих за рамки стандартных возможностей Power Query.

Можно ли запускать Dataflow и ноутбук в одном конвейере Fabric?

Конечно. Конвейеры Fabric позволяют последовательно оркестрировать и Dataflows, и ноутбуки, сочетая низкокодовую загрузку с продвинутыми программными преобразованиями.