Освоение архитектуры «бронза-серебро-золото» в Microsoft Fabric

By Mirko Peters · 2026-08-28

Automatically translated with AI from the original post. Read the English original

Cover: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric

Добро пожаловать обратно в блог! Если вы следите за нашими подкастами, то знаете, насколько мы одержимы поиском способов упростить управление данными, разрушить информационные силосы и извлекать из корпоративных данных действительно полезные выводы. Сегодня мы подробно разберём, как структурировать конвейеры данных с помощью архитектуры «медальон» в Microsoft Fabric. В частности, рассмотрим, как сырые данные переходят из слоя «бронза» в слой «серебро» и в итоге попадают в слой «золото», чтобы ваша организация получила чистую, надёжную и молниеносно быструю аналитику.

Когда организации только начинают работать с облачной аналитикой, они часто допускают ошибку: сваливают всё в одно хаотичное хранилище. Без понятного пути созревания данных команды начинают бороться с проблемами качества данных, противоречивыми показателями и кошмарами, связанными с соответствием требованиям. Именно здесь на помощь приходит архитектура «медальон». Выстроив последовательное движение через уровни «бронза», «серебро» и «золото», вы создаёте надёжный фундамент, который превращает хаотичные входные данные в корпоративные активы, готовые к использованию. Давайте шаг за шагом разберём, как это работает в экосистеме Microsoft Fabric.

Прежде чем погружаться в техническую структуру, настоятельно рекомендую послушать наш связанный выпуск подкаста: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric. В этом выпуске мы разбираем именно эти шаблоны, обсуждаем, как OneLake объединяет всё в единое целое, и рассматриваем реальные стратегии объединения управления данными и рабочих процессов ИИ.

Введение в архитектуру «медальон» в Microsoft Fabric

Архитектура «медальон» — это шаблон проектирования данных, который логически организует данные в озере данных с целью постепенно и последовательно улучшать структуру и качество данных по мере их прохождения через каждый слой конвейера. В Microsoft Fabric эта архитектура изначально поддерживается OneLake, форматом хранения Delta Lake и мощными вычислительными движками, такими как Spark и Data Factory.

Зачем нужно строить конвейеры именно так? Во многих компаниях сырые данные поступают в самых разных форматах: JSON-файлы из API, CSV-файлы из унаследованных систем, потоковая телеметрия с IoT-устройств и транзакционные записи из баз данных. Если пытаться запрашивать этот сырой массив напрямую, ваши дашборды будут работать крайне медленно, бизнес-пользователи запутаются в неаккуратных названиях столбцов, а инженеры данных будут тратить всё время на исправление сломанных отчётов вместо того, чтобы приносить бизнес-ценность.

Соблюдая последовательность «бронза» → «серебро» → «золото», вы создаёте чёткие границы ответственности:

Слой «бронза»: приём и сохранение необработанных данных в исходном виде.
Слой «серебро»: очистка, преобразование и интеграция в структурированные таблицы.
Слой «золото»: агрегация, оптимизация и предоставление готовой для бизнеса аналитики.

Давайте подробнее рассмотрим каждый из этих слоёв, чтобы понять, как они работают в современной среде Microsoft Fabric.

Слой «бронза»: приём необработанных данных

Слой «бронза», который часто называют сырым или посадочным слоем, — это первая остановка для всех данных, поступающих в вашу экосистему Microsoft Fabric. Основная задача здесь проста, но критически важна: как можно быстрее захватить данные в исходном, неизменённом формате и надёжно их сохранить.

При проектировании слоя «бронза» стоит сдержаться от желания применять бизнес-логику, исправлять опечатки или удалять столбцы. Почему? Потому что если скрипт последующего преобразования случайно повредит данные или удалит поле, которое позже потребует соответствие требованиям, вам понадобится неизменная, нередактированная историческая запись. Слой «бронза» служит вашим неизменяемым журналом аудита.

В Microsoft Fabric данные обычно загружаются в OneLake с помощью конвейеров данных, действий копирования или потоков событий в реальном времени. Нужно ли извлекать данные из Dynamics 365, баз Azure SQL, Salesforce или внешних бакетов S3 — Fabric делает нативный приём максимально простым. Данные хранятся в открытых форматах, таких как Delta Parquet, который из коробки обеспечивает транзакции ACID и высокопроизводительные запросы.

Ключевые практики поддержания работоспособного слоя «бронза» включают:

Операции только с добавлением: Никогда не обновляйте и не удаляйте записи в слое bronze. Всегда добавляйте новые файлы или строки с метками времени загрузки.
Schema-on-read: Разрешайте полуструктурированным данным (например, вложенным JSON-пayloads) попадать в хранилище без жёсткого соблюдения схемы, чтобы не терять входящие записи из-за небольших изменений в источнике.
Отслеживание метаданных: Добавляйте столбцы метаданных при загрузке — например, имя исходной системы, метку времени загрузки и идентификатор пакета — чтобы с первого дня сохранять полную историю происхождения данных (data lineage).

Очистка и преобразование данных в слое Silver

Когда данные надёжно размещены в слое bronze, пора перевести их в слой silver. Здесь выполняется основная инженерная работа. Слой silver берёт сырые, неупорядоченные входные данные и преобразует их в очищенные, проверенные и соответствующие корпоративным стандартам наборы данных.

На уровне silver вы переходите от schema-on-read к schema-on-write. Здесь вы применяете бизнес-правила для обеспечения целостности данных. Типичные преобразования, выполняемые в слое silver, включают:

Дедупликация: Выявление и удаление дублирующихся записей о событиях или избыточных записей о клиентах.
Обработка пропущенных значений: Подстановка стандартных значений по умолчанию, пометка аномальных пустых значений или удаление недопустимых записей в соответствии с правилами управления данными.
Стандартизация: Нормализация форматов дат, приведение кодов стран к единому виду, пересчёт валютных значений в базовую валюту и приведение регистра строк к единому виду.
Приведение типов данных: Преобразование строковых представлений чисел и дат в корректные целочисленные, вещественные и временные типы данных.
Соединение и обогащение: Объединение сырых операционных таблиц со справочными данными для создания единых сущностей, например, объединение журналов транзакций клиентов с основными профилями клиентов.

В Microsoft Fabric инженеры данных обычно используют блокноты (notebooks), работающие на Spark, или конечные точки SQL внутри Fabric Lakehouse для построения таких конвейеров преобразования. Храня таблицы silver как таблицы Delta, вы получаете преимущества машины времени (time travel), эффективного секционирования и быстрых инкрементальных обновлений. Попав в слой silver, данные становятся чистыми, структурированными и готовыми для специализированных аналитических задач отделов или для обучения моделей машинного обучения.

Построение слоя Gold: доставка аналитики, готовой для бизнеса

Мы загрузили сырые данные в слой bronze и очистили и стандартизировали их в слое silver. Теперь наступает самая интересная часть: построение слоя gold. Слой gold, который часто называют слоем обслуживания (serving layer) или презентационным слоем, — это место, где данные формируются специально для ответов на бизнес-вопросы и поддержки решений на уровне руководства.

В отличие от детализированных, высоконормализованных таблиц слоя silver, таблицы слоя gold, как правило, моделируются в виде измерений (звёздчатых схем, star schema) с чётко определёнными таблицами фактов и измерений. Здесь вы рассчитываете ключевые показатели эффективности (KPI), ежемесячную повторяющуюся выручку (MRR), коэффициент оттока клиентов, оборачиваемость запасов и другие важные бизнес-метрики.

Поскольку слой gold оптимизирован для потребления, производительность имеет первостепенное значение. В Microsoft Fabric вы можете открыть таблицы gold напрямую через семантическую модель Power BI или конечную точку SQL. Бизнес-аналитики и пользователи самообслуживания могут подключаться к этим подготовленным наборам данных, не разбираясь в лежащих в основе соединениях таблиц и логике подготовки данных.

Чтобы максимизировать ценность слоя gold, помните о следующих принципах:

Бизнес-терминология: Переименовывайте технические названия столбцов (например, `cust_id_fk_02`) в понятные бизнес-термины (например, `Customer ID`).
Предварительно агрегированные метрики: Создавайте сводные таблицы для тяжёлых исторических отчётов, чтобы дашборды загружались за миллисекунды, а не за минуты.
Соответствие стратегии: Убедитесь, что каждая таблица и каждая метрика в слое gold напрямую связаны с корпоративной целью или требованием к отчётности.

Обеспечение безопасности и управления по всему конвейеру

Построение безупречного конвейера bronze-silver-gold — это только половина дела. По мере движения данных через эти слои вы должны обеспечить защиту конфиденциальной информации, соблюдение стандартов соответствия и защиту от несанкционированных пользователей. К счастью, Microsoft Fabric изначально построен на корпоративной безопасности, глубоко интегрированной в его базовую архитектуру.

Управление в Fabric объединено через Microsoft Purview. По мере того как данные проходят путь от bronze к silver и затем к gold, вы можете отслеживать их полную историю происхождения (data lineage). Если аудитор спросит, откуда взялась конкретная цифра выручки на executive dashboard, граф происхождения покажет точный запуск конвейера, notebook трансформации silver и исходный файл bronze, из которого она появилась.

Управление доступом реализуется без лишних усилий через Microsoft Entra ID. На уровне gold можно применить безопасность на уровне строк (RLS) и на уровне столбцов, чтобы региональные менеджеры по продажам видели только данные своих территорий. Кроме того, Fabric автоматически шифрует данные в состоянии покоя и при передаче, а такие инструменты, как Data Loss Prevention (DLP) и метки конфиденциальности, предотвращают случайный экспорт конфиденциальных данных организации.

Встраивая безопасность и управление в каждый уровень вашей архитектуры medallion, вы устраняете риски, связанные с разрастанием данных, и создаете среду абсолютного доверия для всех пользователей.

Реальные преимущества и ROI структурированных конвейеров данных

Внедрение архитектуры bronze-silver-gold в Microsoft Fabric — это не просто лучшая архитектурная практика, а мощный драйвер бизнес-ценности и возврата инвестиций. Организации, которые переходят от хаотичного, неструктурированного хранения данных к управляемому конвейеру medallion, добиваются существенных операционных улучшений.

Во-первых, резко растет продуктивность инженеров данных. Вместо того чтобы писать indивидуальные, хрупкие скрипты для каждого нового запроса на отчетность, инженеры создают повторно используемые конвейеры трансформации, которые подают очищенные данные дальше. Исследования внедрения Microsoft Fabric показывают, что организации добиваются роста продуктивности инженеров данных до 25 % и экономят миллионы на времени аналитиков, поскольку данные легко найти, им легко доверять и легко их запрашивать.

Во-вторых, самообслуживаемая аналитика наконец становится реальностью. Когда бизнес-пользователи получают доступ к подготовленным наборам данных gold с понятными именами и надежными цифрами, они перестают создавать неофициальные таблицы и начинают опираться на официальные дашборды Power BI. Такая демократизация данных формирует культуру сотрудничества и заметно ускоряет циклы принятия решений.

Наконец, масштабируемость облачной архитектуры гарантирует, что по мере роста бизнеса ваша инфраструктура данных растет вместе с ним без масштабной перестройки архитектуры. Обрабатываете ли вы гигабайты или петабайты данных, Microsoft Fabric плавно и экономически эффективно масштабирует вычислительные ресурсы.

Освоение архитектуры bronze-silver-gold в Microsoft Fabric — лучший способ навести порядок в вашей экосистеме данных. Последовательно переводя данные от сырого приема к очищенной обработке и затем к готовому для бизнеса представлению, вы раскрываете истинный потенциал информационных активов организации. Чтобы узнать больше экспертных мнений, разборов архитектуры и практических советов по освоению этой экосистемы, обязательно послушайте наш полный выпуск, Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric!

🎧 Слушать этот выпуск

Хотите понятное объяснение темы «Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric»? В этом выпуске тема разобрана простым языком и показано, почему она важна для Microsoft 365, Azure, Power Platform, безопасности, ИИ и современной работы.

Послушайте этот выпуск, если вы хотите:

Понять ключевые концепции, стоящие за темой «Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric»
Увидеть, как она вписывается в более широкую технологическую экосистему Microsoft
Узнать, где она может принести практическую пользу вашей организации

Вам также могут понравиться связанные выпуски M365 FM:

Больше практичных бесед о Microsoft на M365 FM.