Опанування архітектури Bronze-Silver-Gold у Microsoft Fabric

By Mirko Peters · 2026-08-28

Ласкаво просимо назад у блог! Якщо ви стежите за нашими подкастами, то знаєте, наскільки нам важливо знаходити способи спростити керування даними, зруйнувати ізольовані сховища та отримувати практичні висновки з корпоративних даних. Сьогодні ми детально розберемо, як структурувати конвеєри даних за допомогою архітектури медальйону всередині Microsoft Fabric. Зокрема, ми подивимося, як сирі дані пе

Automatically translated with AI from the original post. Read the English original

Cover: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric

Коли організації вперше починають працювати з хмарною аналітикою, вони часто припускаються помилки: звалюють усе в одне хаотичне сховище. Без чіткого шляху дозрівання даних команди починають боротися з проблемами якості даних, суперечливими показниками та кошмарами відповідності вимогам. Саме тут на допомогу приходить архітектура медальйону. Встановлюючи чітку послідовність рівнів bronze, silver і gold, ви створюєте надійний фундамент, який перетворює хаотичні вхідні дані на готові для підприємства активи. Давайте крок за кроком розглянемо, як це працює в екосистемі Microsoft Fabric.

Перш ніж глибоко занурюватися в технічну структуру, я настійно рекомендую ознайомитися з нашим відповідним епізодом подкасту Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric. У цьому епізоді ми розбираємо саме ці патерни, обговорюємо, як OneLake об'єднує все разом, і досліджуємо реальні стратегії для уніфікації керування даними та робочих процесів штучного інтелекту.

Вступ до архітектури медальйону в Microsoft Fabric

Архітектура медальйону — це патерн проєктування даних, який логічно організовує дані в data lake з метою поступового та послідовного покращення структури й якості даних на кожному етапі конвеєра. У Microsoft Fabric цю архітектуру нативно підтримують OneLake, сховище у форматі Delta Lake та потужні обчислювальні движки, як-от Spark і Data Factory.

Навіщо нам потрібно будувати конвеєри саме так? У багатьох компаніях сирі дані надходять у безлічі форматів: JSON-файли з API, CSV-файли з застарілих систем, потокова телеметрія з IoT-пристроїв і транзакційні записи з баз даних. Якщо спробувати запитувати цей сирий масив напряму, ваші дашборди працюватимуть повільно, бізнес-користувачі плутатимуться через заплутані назви стовпців, а інженери даних витрачатимуть весь час на виправлення зламаних звітів замість створення бізнес-цінності.

Дотримуючись послідовності bronze → silver → gold, ви створюєте чіткі межі відповідальності:

Шар Bronze: приймання та збереження сирих даних у незмінному вигляді.
Шар Silver: очищення, перетворення та інтеграція в структуровані таблиці.
Шар Gold: агрегація, оптимізація та надання готової для бізнесу аналітики.

Давайте детально розглянемо кожен із цих шарів, щоб побачити, як вони працюють у сучасному середовищі Microsoft Fabric.

Розуміння шару Bronze: приймання сирих даних

Шар bronze, який часто називають сирим або вхідним шаром, — це перша зупинка для всіх даних, що потрапляють до вашої екосистеми Microsoft Fabric. Основна мета тут проста, але критично важлива: якомога швидше зафіксувати дані у вихідному, незміненому форматі та надійно їх зберегти.

Проєктуючи шар bronze, варто стримувати бажання застосовувати бізнес-логіку, виправляти друкарські помилки чи видаляти стовпці. Чому? Бо якщо скрипт перетворення, що працює далі, випадково пошкодить дані або видалить поле, яке пізніше вимагатиме відповідність нормам, вам знадобиться незайманий, нередагований історичний запис для відновлення. Шар bronze слугує вашим незмінним журналом аудиту.

У Microsoft Fabric ви зазвичай завантажуєте ці дані в OneLake за допомогою конвеєрів даних, дій копіювання або потоків подій у реальному часі. Незалежно від того, витягуєте ви дані з Dynamics 365, баз Azure SQL, Salesforce чи зовнішніх сховищ S3, Fabric робить нативне приймання даних напрочуд простим. Дані зберігаються у відкритих форматах, таких як Delta Parquet, який забезпечує транзакції ACID і високопродуктивні запити одразу після налаштування.

Ключові практики підтримки здорового шару bronze включають:

Операції лише з додаванням: Ніколи не оновлюйте та не видаляйте записи в шарі bronze. Завжди додавайте нові файли або рядки з позначками часу надходження.
Schema-on-read: Дозволяйте напівструктурованим даним (наприклад, вкладеним JSON-пакетам) потрапляти в сховище без жорсткого застосування схеми, щоб не втрачати вхідні записи через незначні зміни в джерелі.
Відстеження метаданих: Додавайте під час надходження службові колонки, такі як назва системної джерела, позначка часу надходження та ідентифікатор пакета, щоб зберігати повне походження даних з першого дня.

Уточнення даних у шарі Silver: очищення та трансформація

Коли ваші дані надійно розміщено в шарі bronze, настав час перенести їх до шару silver. Саме тут відбувається основна інженерна робота з даними. Шар silver перетворює сирі, неструктуровані вхідні дані на очищені, перевірені та узгоджені з підприємством набори даних.

На рівні silver ви переходите від schema-on-read до schema-on-write. Саме тут застосовуються бізнес-правила, що гарантують цілісність даних. До типових трансформацій, які виконуються на рівні silver, належать:

Дедуплікація: Виявлення та видалення дубльованих записів про події або зайвих записів про клієнтів.
Обробка відсутніх значень: Заповнення стандартними значеннями за замовчуванням, позначення аномалій з порожніми значеннями або видалення некоректних записів відповідно до правил управління даними.
Стандартизація: Нормалізація форматів дат, стандартизація кодів країн, перерахунок валютних сум до базової валюти та приведення рядків до єдиного регістру.
Приведення типів даних: Перетворення рядкових представлень чисел і дат на коректні типи integer, float і timestamp.
Об'єднання та збагачення: Поєднання сирих операційних таблиць з довідковими даними для створення уніфікованих сутностей, наприклад, об'єднання журналів клієнтських транзакцій з основними профілями клієнтів.

У Microsoft Fabric інженери даних зазвичай використовують notebook-и на базі Spark або SQL-ендпоїнти всередині Fabric Lakehouse для побудови конвеєрів трансформації. Зберігаючи таблиці silver у вигляді Delta-таблиць, ви отримуєте переваги подорожі в часі (time travel), ефективного партиціонування та високошвидкісних інкрементальних оновлень. Щойно дані потрапляють до шару silver, вони стають очищеними, структурованими та готовими для спеціалізованих аналітичних завдань відділів або для живлення моделей машинного навчання.

Побудова шару Gold: доставка бізнес-готової аналітики

Ми завантажили сирі дані в шар bronze та очистили й стандартизували їх у шарі silver. Тепер настає найцікавіша частина: побудова шару gold. Шар gold, який часто називають шаром обслуговування (serving layer) або презентаційним шаром, є місцем, де дані формуються спеціально для відповіді на бізнес-питання та підтримки рішень керівництва.

На відміну від детальних, сильно нормалізованих таблиць шару silver, таблиці шару gold зазвичай моделюються у вигляді вимірних схем (star schema) з чітко визначеними таблицями фактів і вимірів. Саме тут ви розраховуєте ключові показники ефективності (KPI), щомісячний регулярний дохід (MRR), показники відтоку клієнтів, оборотність запасів та інші важливі бізнес-метрики.

Оскільки шар gold оптимізовано для споживання, продуктивність має першорядне значення. У Microsoft Fabric ви можете відкривати таблиці gold напряму через семантичну модель Power BI або SQL-ендпоїнт. Бізнес-аналітики та користувачі самообслуговування можуть підключатися до цих курованих наборів даних, не розуміючи структури об'єднань таблиць чи логіки підготовки даних.

Щоб максимально підвищити цінність шару gold, пам'ятайте про такі принципи:

Бізнес-зрозуміла термінологія: Перейменовуйте технічні назви колонок (наприклад, `cust_id_fk_02`) на зрозумілу бізнес-мову (наприклад, `Customer ID`).
Попередньо агреговані метрики: Створюйте зведені таблиці для великих історичних звітів, щоб дашборди завантажувалися за мілісекунди, а не за хвилини.
Відповідність стратегії: Переконайтеся, що кожна таблиця та кожна метрика в шарі gold безпосередньо відповідає корпоративній меті або вимозі звітності.

Забезпечення безпеки та управління у всьому конвеєрі

Побудова досконалого конвеєра bronze-silver-gold — це лише половина справи. Коли дані проходять через ці шари, ви маєте гарантувати захист конфіденційної інформації, дотримання вимог відповідності та недопущення несанкціонованих користувачів. На щастя, Microsoft Fabric створено з корпоративним рівнем безпеки, глибоко інтегрованим в її основну архітектуру.

Управління в Fabric реалізовано єдиним чином через Microsoft Purview. Коли ваші дані переходять із bronze до silver і далі до gold, ви можете відстежити їх повний лінійдж. Якщо аудитор запитає, звідки взялася певна цифра виторгу на executive-дашборді, граф лінійджу покаже точний запуск конвеєра, notebook трансформації silver і вихідний сирий файл bronze, з якого все почалося.

Керування доступом забезпечується через Microsoft Entra ID. На рівні gold можна застосувати безпеку на рівні рядків (RLS) і безпеку на рівні стовпців, щоб регіональні менеджери з продажів бачили лише дані зі своїх територій. Крім того, Fabric автоматично шифрує дані в стані спокою та під час передавання, а такі інструменти, як Data Loss Prevention (DLP) і мітки конфіденційності, запобігають випадковому експорту конфіденційних даних організації.

Вбудовуючи безпеку та управління в кожен рівень вашої архітектури medallion, ви усуваєте ризики, пов'язані з неконтрольованим розростанням даних, і створюєте середовище абсолютної довіри для всіх користувачів.

Реальні переваги та ROI структурованих конвеєрів даних

Впровадження архітектури bronze-silver-gold у Microsoft Fabric — це не лише найкраща архітектурна практика, а й потужний драйвер бізнес-цінності та рентабельності інвестицій. Організації, які переходять від хаотичного, неструктурованого зберігання даних до керованого конвеєра medallion, отримують суттєві операційні покращення.

По-перше, продуктивність інженерів даних різко зростає. Замість того, щоб писати індивідуальні крихкі скрипти для кожного нового запиту на звітність, інженери створюють повторно використовувані конвеєри трансформації, які постачають чисті дані вгору за ланцюжком. Дослідження впровадження Microsoft Fabric показують, що організації досягають до 25% приросту продуктивності інженерії даних і економлять мільйони на часі аналітиків, адже дані легко знайти, їм легко довіряти та їх легко запитувати.

По-друге, самообслуговувана аналітика нарешті стає реальністю. Коли бізнес-користувачі отримують доступ до підготовлених наборів даних gold з інтуїтивними назвами та надійними цифрами, вони перестають створювати неофіційні таблиці й починають покладатися на офіційні дашборди Power BI. Така демократизація даних формує культуру співпраці та суттєво прискорює цикли прийняття рішень.

Нарешті, масштабованість хмарної архітектури гарантує, що разом із ростом бізнесу росте і ваша інфраструктура даних, без потреби у масштабних зусиллях з перепроєктування. Чи обробляєте ви гігабайти, чи петабайти даних, Microsoft Fabric плавно й економно керує масштабуванням обчислювальних ресурсів у фоновому режимі.

Опанування архітектури bronze-silver-gold у Microsoft Fabric — це остаточний спосіб навести лад в екосистемі ваших даних. Послідовно переводячи дані від сирого надходження до очищеної обробки і, зрештою, до презентації, готової для бізнесу, ви розкриваєте справжній потенціал інформаційних активів вашої організації. Щоб почути більше експертних думок, архітектурних розборів і практичних порад щодо опанування цієї екосистеми, обов'язково послухайте наш повний випуск Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric!

🎧 Слухати цей випуск

Хочете практичного пояснення теми «Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric»? Цей випуск розбирає тему простою мовою та показує, чому вона важлива для Microsoft 365, Azure, Power Platform, безпеки, ШІ та сучасної роботи.

Послухайте цей випуск, якщо хочете:

Зрозуміти ключові концепції, що стоять за темою «Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric»
Побачити, як це вписується в ширшу технологічну екосистему Microsoft
Дізнатися, де це може створити практичну цінність для вашої організації

Вам також можуть сподобатися пов'язані випуски M365 FM:

Більше практичних розмов про Microsoft на M365 FM.