Сьогоднішня тема – це те, про що чув майже кожен, хто працює з даними, але мало хто насправді розуміє. Microsoft Fabric OnLake. Ви, мабуть, бачили це в маркетингових матеріалах Microsoft або чули, як хтось називає це єдиним озером даних для всієї організації. Але що це означає насправді? Це просто чергове сховище чи щось принципово інше? Ось найпростіше визначення. OnLake – це єдине логічне озеро даних, яке знаходиться в центрі Microsoft Fabric. Кожен сервіс Fabric – LakeHouse, WareHouse, AventHouse, Power BI зберігає свої дані тут. І ключове правило просте – одна фізична копія даних доступна багатьом різним рушіям. Більше не потрібно копіювати дані з одного інструменту в інший. Більше не потрібно гадати, яка версія звіту правильна. До кінця цього випуску ви зрозумієте, що таке OnLake насправді, як він усуває дублювання даних і чому це змінює правила гри для Power BI, інженерії даних та ЩІ. Тож почнемо з проблеми, яку було створено вирішити за допомогою OnLake. Ваша команда з продажів використовує CRM-систему для відстеження угод. Ваш фінансовий відділ керує ERP-системою для виставлення рахунків. Ваша маркетингова команда витягує дані зі своїх рекламних інструментів. А ваша команда з інженерії даних керує сховищем даних для звітності. Тож ось про що я хочу, щоб ви замислилися. Скільки копій одних і тих самих даних клієнтів існує в цих системах? У більшості компаній відповідь 4 або 5. CRM зберігає їх. ERP зберігає їх. Маркетинг експортує їх у свій аналітичний інструмент. Хтось із фінансового відділу створює електронну таблицю на основі ERP. А команда з інженерії даних копіює їх у сховище, щоб Power BI міг їх прочитати. Це той самий ID клієнта, та сама сума продажу, та сама дата рахунку, збережені в п'яти різних місцях. Це не тому, що люди недбалі. Це тому, що старі інструменти не взаємодіяли один з одним. Якщо ви хотіли створити звіт, який поєднує дані про продажі з CRM і фінансові дані з ERP, вам доводилося копіювати обидва в щось, що могло прочитати їх разом. Це означало створення пайплейнів, планування завдань і надію, що нічого не зламається за ніч. Приховані витрати швидко накопичуються. Рахунки за сховище зростають, тому що ви платите за одні і ті самі дані п'ять разів. Звідти застарівають, тому що одна копія оновлюється, а інша – ні. А потім хтось ставить питання, на яке ніхто не хоче відповідати. Яка версія правильна? Ця плутанина підриває довіру до даних, і як тільки довіра зникає, люди взагалі перестають користуватися аналітичною платформою. Отже, у Microsoft поглянули на цей хаос і поставили просте запитання, що якби ви мали одну копію даних, яку міг би считувати кожен інструмент. Без дублювання, без плутанини – єдине джерело істини. Що ж таке OnLake? OnLake – це відповідь Microsoft на це запитання. Це єдине логічне озеро даних для всієї вашої організації. Ключова фраза, яку варто запам'ятати – «одне озеро на клієнта, а не одне озеро на команду». Всередині OnLake побудовано на базі Azure Data Lake Storage Gen 2. Та сама технологія, ті самі Ари, але Microsoft перепаковала це як повністю керований SaaS-сервіс. Вам не потрібно створювати облікові записи зберігання, керувати контейнерами чи налаштовувати ключі доступу, ви просто користуєтеся ним. Уявіть це як Onedrive для даних вашої компанії. Onedrive надає одне місце для ваших особистих файлів, документів, фотографій, таблиць. Ви не замислюєтеся, де вони фізично зберігаються, ви просто відкриваєте їх і працюєте. OnLake робить те саме, але для даних вашої організації. Це забезпечує кожній команді, кожному проєкту, кожному робочому навантаженню спільний пул сховища. А тепер важливе розмежування. OnLake є логічним, а не фізичним. На рівні системи воно може охоплювати кілька сховищ у різних регіонах, але для вас це виглядає як один величезний пул. Вас не хвилює, який саме сервер містить файли, ви просто бачите свої дані. Кожен сервіс Fabrics зберігає свої дані тут. Коли ви створюєте Lakehouse, дані розміщуються в OnLake. Коли ви створюєте сховище даних, таблиці розміщуються в OnLake. Коли ви запускаєте звід PAVA BI у режимі DirectLake, він считує дані безпосередньо з OnLake. Навіть EventHouse, сховище для аналітики в реальному часі, може відкривати доступ до своїх даних у OnLake. Все вказує на одне і те саме місце, а стандартним форматом даних є DeltaPake. Це відкритий формат, а не закрита технологія Microsoft. Databricks використовує його, руші і SPAC считують його. Такі інструменти, як Pendas і Powlas, можуть з ним працювати. Отже, ваші дані не замкнені всередині екосистеми Microsoft. Вони відкриті та портативні, але справжня магія полягає не у зберіганні, а в тому, як OnLake усуває потребу копіювати дані взагалі. Принцип однієї копії. А тепер головна ідея, яка відрізняє OnLake від усього, що було раніше. Це називається принципом однієї копії, і він простий. Одна фізична копія даних доступна для багатьох різних рушіїв. Дозвольте показати, що це означає. Припустімо, у вас є таблиця даних про продажів OnLake. Data-інженер запускає SPAC ноутбук, щоб очистити їх. Бізнес-аналітик пише TSQL-запит, щоб агрегувати їх. А звід Пава BI считує їх для інформаційної панелі. Усі три відбуваються одночасно. Усі троє считують один і той самий файл. Ніхто нічого не копіював. Раніше такого ніколи не було. Викопіювали дані з озера даних у сховище. Потім копіювали їх зі сховища в семантичну модель. Після чого оновлювали звіт. Це три копії одних і тих самих даних. Кожна з них потребує часу та місця для зберігання. І якщо якийсь крок давав збій, ваші цифри були невірними. Одна копія усуває все це. Дані знаходяться в OnLake лише один раз. Руші і спак SQL, Power BI, усі читають їх напряму. Жодного переміщення, жодного дублювання, жодних проблем із синхронізацією. Економія коштів – це факт. Менше витрат на зберігання, бо ви не платите за одні і ті самі дані п'ять разів. Менше ETL, бо ви не будуєте конвейери лише для переміщення даних між інструментами. Менше речей для обслуговування, бо між копіями нічому ламатися. А перевага в актуальності даних величезна. Одна копія означає одне джерело істини. Коли дані оновлюються, кожен звіт бачить оновлення миттєво. Більше не треба питати у цьому звіті дані за минулий тиждень чи за цей. Це завжди одні й ті самі дані всюди. Ви можете подумати, хіба це не те саме, що Azure Data Lake Storage? Не зовсім так. ADLS – це сервіс PAS. Ви створюєте облікові записи зберігання. Ви керуєте контейнерами. Ви налаштовуєте ключі доступу. Ви вирішуєте, який регіон що зберігає. Це гнучко, але це теж робота. OnLake – це сервіс SAS. Ви не створюєте облікові записи зберігання. Ви не керуєте контейнерами. Ви просто користуєтеся ним. Про базову інфраструктуру дбають за вас. Одна копія чудово підходить для даних у середині фебрик. А як щодо даних, які знаходяться десь іще? Ярлики. Залиште дані там, де вони живуть. Отже, тут на допомогу приходять ярлики. Ярлик – це віртуальний вказівник. Уявіть це як символьне посилання для вашого озера даних. Він дозволяє отримати доступ до даних, що фізично знаходяться поза OnLake, без їх переміщення чи копіювання. Ось як це працює. Ви створюєте ярлик у середині Lakehouse або сховища. І цей ярлик вказує на файл або папку в іншому місці. Це може бути обліковий запис Azure Data Lake Storage, кошик Amazon S3, Google Cloud Storage або навіть інша робоча область Fabric. Дані залишаються на місці, але середини Fabric вони виглядають так, ніби вони прямо в OnLake. Дозвольте навести реальний сценарій. Ваша команда з продажів роками виконує аналітику на AWS, тож усі їхні дані знаходяться в кошиках S3. Ваш фінансовий відділ використовує Fabric і Pava BI, і їм потрібно поєднати дані про продажі з фінансовими даними. У старому світі ви експортували все з S3, завантажували вежур, будували конвейер для синхронізації і сподівалися, що нічого не зламається. За допомогою ярликів ви створюєте посилання зі свого сховища даних Lakehouse на S3 bucket. Дані залишаються в AWS, але фінансовий відділ може запитувати їх у Pava BI так, ніби вони знаходяться в OnLake. Жодного експорту, жодного завантаження, жодних турбот про конвейери. Ярлики працюють і всередині системи. Якщо одна команда має готовий набір даних у своєму робочому просторі, інша команда може створити на нього ярлик. Жодного копіювання, жодного дублювання. Дані залишаються в початковому робочому просторі, а всі інші просто посилаються на них. Є одне обмеження, про яке ви повинні знати. Ярлики не копіюють дані, тому швидкість запитів залежить від швидкості вихідної системи. Якщо ви створюєте ярлик до S3 bucketа на іншому кінці світу, ваші запити будуть повільнішими, ніж якби дані були локальними. Для даних, до яких часто звертаються, краще використовувати дзеркалювання Mirroring. І це підводить нас до наступної теми – дзеркалювання. Автоматичне перенесення даних із баз даних. Ярлики добре підходять для зовнішніх файлових сховищ, але що робити з вашими існуючими базами даних? Тими, на яких працюють ваші ERP, CRM та операційні додатки. Ось тут у гру вступає дзеркалювання. Дзеркалювання – це спосіб отримання даних із баз даних у OnLake майже в реальному часі без створення жодного конвейера. Ви вказуєте Fabric на свою базу даних, а вона робить все інше, створюючи автоматичну інкрементальну копію даних у форматі DeltaPack у середині OnLake, підтримуючи її актуальність при змінах у джерелі. Підтримувані джерела включають Azure SQL Database, локальний SQL Server, Cosmos DB та інші, і Microsoft з часом додає нові. Проте найпоширенішим сценарієм є критично важлива для бізнесу база даних, на якій працює ваша ERP або профільний бізнес-додаток. Ось як це працює. Ви вмикаєте дзеркалювання для бази даних, і Fabric считує стрічку змін, вставки, оновлення, видалення та реплікує ці зміни в OnLake. Перша синхронізація копіює повний набір даних. Після цього вона стає інкрементальною, переміщуючи лише змінені рядки. Головна відмінність від ярликів. Ярлики не копіюють дані, вони просто вказують на них. Дзеркалювання фактично копіює дані, тому вони фізично знаходяться в OnLake, а продуктивність запитів висока незалежно від швидкості вихідної бази даних. Компроміс полягає в тому, що ви зберігаєте копію, але перевагою є доступ майже в реальному часі без необхідності будувати конвоєри, налаштовувати розклад чи турбуватися про обслуговування. Дозвольте навести вам конкретний приклад використання. Ваша компанія використовує ERP на SQL-серва, де зберігаються всі фінансові дані, рахунки, платежі, головна книга. Раніше ви створювали ETL-завдання, що запускалося щоночі, видобувало дані, трансформувало їх і завантажувало у сховище. Це завдання постійно ламалося, хтось мав його лагодити, а дані завжди були застарілими принаймні на день. Завдяки дзеркальному відображенню Mirroring, ви налаштовуєте його один раз, і фебрік постійно реплікує дані в OnLake. Ваші звіти Pava BI зчитуються безпосередньо з OnLake і бачать дані, яким хвилини, а не години чи дні, і ви не торкаєтеся конвейера. Тепер у вас є дані в OnLake завдяки ярликам, дзеркальному відображенню та прямому завантаженню. Як же ними користуватися? OnLake та три сховища даних. Отже, OnLake – це рівень зберігання, місце, де знаходяться всі ваші файли. Але ось у чому річ – ви насправді не працюєте з OnLake напряму. Натомість ви взаємодієте з ним через так звані сховища даних інтерфейси, що надають різні способи роботи з тими самими даними. У фебрік є три основні сховища даних – LakeHouse, Warehouse та EventHouse. Усі вони зберігають дані в одному і тому самому OnLake, але кожен виконує свою функцію. Почнемо з LakeHouse гнучкого сховища, що приймає файли CSV, JSON та зображення, а також таблиці Delta. Ви використовуєте його для інженерії даних, машинного навчання або вивантаження сирих даних із вихідних систем. Це робочий простір, де ви очищаєте, трансформуєте та готуєте дані. Якщо ви будуєте архітектуру медальйону з бронзовим, срібним та золотим рівнями, LakeHouse – це місце для цього. Доступ до нього можна отримати через спак ноутбуки або через кінцеву точку SQL-аналітики для запитів лише для читання. Наступний – Warehouse – сховище структурованих даних. Він надає повну підтримку читання та запису TSQL, тому ви можете створювати таблиці, представлення, процедури та функції, а також виконувати операції Insert, Update, Delete. Він відчувається як традиційна база даних SQL-серва, оскільки створений для тих, хто мислить категоріями SQL. Використовуйте Warehouse для створення BI-звітів, виконання складних агрегацій або міграції з існуючого сховища даних. Вважайте його золотим рівнем для корпоративної звітності. Далі йде Eventhouse – сховище даних у реальному часі, побудоване на руші і касту тій самій технології, що є Azure Data Explorer. Він обробляє потокові дані, журнали, еттелеметрію та потоки кліків – усе, що надходить швидко і потребує негайного аналізу. Ви робите запити до нього за допомогою KQL, мови запитів касту. А коли ви вмикаєте доступність OnLake, ці дані про події стають доступними для Lakehouse і Warehouse як Delta-таблиці. Отже, ось що вам потрібно розуміти. Усі три зберігають свої дані в одному OnLake. Таблицю, створену в Lakehouse, можна прочитати за допомогою запиту з Warehouse. До таблиці у Warehouse можна отримати доступ із блокнота SPA. Дані, завантажені в Авентhouse, можуть бути представлені як Delta-таблиці для PAWA BI. Це не окремі бази даних, це різні представлення одного і того самого озера даних. Багато хто помиляється в цьому. Вони думають, що Lakehouse, Warehouse та Авентhouse – це конкуруючі продукти, але це не так. Ви насправді використовуєте всі три, тому що кожен вирішує свою задачу. Lakehouse для інженерії даних, Warehouse для BI, Авентhouse для реального часу, і всі вони використовують одне сховище. OnLake відповідає за зберігання, а сховище даних – за доступ. Але хто і що може бачити? Безпека та управління в OnLake. Оскільки всі ваші дані знаходяться в одному місці, безпека стає простішою. Ви керуєте доступом в одному місці, а не в десятьох різних системах. Більше не потрібно налаштовувати дозволи в CRM, потім знову у Warehouse, а потім у PAWA BI. OnLake надає вам єдину модель безпеки для всього. На верхньому рівні у вас є ролі робочої області – адміністратор, учасник, розробник, переглядач. Вони контролюють, хто може працювати в певній робочій області. Якщо хтось є переглядачем, він може бачити елементи, але не змінювати їх. Якщо це адміністратор, він контролює все. Досить просто. Але ви можете піти далі. Ролі безпеки OnLake дозволяють контролювати доступ на рівні папок, таблиць, стовпців і навіть рядків. Наприклад, безпека на рівні стовпців означає, що ви можете приховати інформацію про зарплату від усіх, крім HR. Безпека на рівні рядків означає, що менеджер з продажу бачить дані лише свого регіону. І це працює однаково для всіх сховищ даних, оскільки всі вони розташовані на одному OnLake. Також є каталог OnLake – централізоване представлення, де можна побачити всі дані в усіх робочих областях. Ви можете знаходити сертифіковані набори даних, перевіряти власників і керувати управлінням з одного місця. Він інтегрується з Microsoft Perview для класифікації, міток конфіденційності та запобігання втраті даних. Тож, якщо вам потрібно позначити певні дані як конфіденційні або суворо обмежені, ви можете зробити це на рівні озера, і це застосується всюди. Також є діагностика OnLake, яка фіксує, хто і коли отримував доступ до даних. Це корисно для аудитів, перевірок відповідності та відповіді на питання, хто працював із цими даними минулого тижня. Він записує кожну операцію читання та запису та зберігає ці журнали як JSON-файли в LakeHouse. Ви можете аналізувати їх за допомогою SPAC, SQL або PAVA BI. Загальна картина така – єдина модель безпеки для всіх ваших даних замість керування окремими правилами для кожного інструмента. Це значне спрощення для будь-якої організації. Практичні висновки. Що це означає для вас? Отже, що це насправді означає, якщо ви починаєте свій шлях у Fabric сьогодні? Давайте розберемося. Якщо ви будуєте нову платформу даних, OnLake усуває потребу в проєктуванні складного переміщення даних. Вам не потрібно планувати, як дані переходять з озера у сховище, а потім у семантичну модель. Просто розмістіть їх у OnLake, і кожен інструмент считуватиме дані звідти. OnLake – одна копія. Це вся архітектура. Якщо ви мігруєте зі старої системи, ярлики та дзеркалювання дозволяють залишити дані там, де вони є, поступово переносячи робочі навантаження. Масштабна міграція не потрібна. Створіть ярлик до існуючого озера даних, віддзеркальте свою базу даних SQL-серва і почніть використовувати Fabric, поки ваші старі системи продовжують працювати. Вирухаєтеся у власному темпі. Ось зміна мислення. Припиніть думати про сховище для кожного проєкту окремо. Припиніть створювати нове озеро даних для кожної нової ініціативи. Почніть думати про одне спільне озеро, до якого мають доступ усі проєкти. Дані вашої команди з продажу, фінансової команди, інженерної команди. Усе це знаходиться в одному місці. Вони просто бачать різні його частини. Для користувачів Pava BI звіти считуються безпосередньо з OnLake. Жодних окремих імпортів, жодних дублюваних семантичних моделей. Дані завжди свіжі, оскільки це ті самі дані, з якими працюють інженери даних. Для інженерів даних це означає менше конвейерів для створення, підтримки та налагодження. Ви завантажуєте дані лише один раз. Усі інші просто звертаються до них. Суть у тому, що OnLake – це не просто ще одне озеро даних. Це фундамент, який відрізняє фебрик від усього, що було раніше. Це причина, чому ви можете припинити копіювати дані і почати довіряти їм. Отже, ось і все. OnLake – це єдине озеро даних вашої організації, побудоване на принципі однієї копії. Одна фізична копія даних доступна для будь-якого інструмента, команди чи робочого навантаження. Більше ніяких дублювань, ніякої плутанини щодо того, яка версія є правильною. Ваше домашнє завдання просте. Почніть із ярлика до зовнішнього джерела або від дзеркалення бази даних. Побачте, наскільки це стає простіше, коли вам не потрібно будувати конвайери лише для того, щоб переміщати дані. Більшість організацій не зроблять цей перехід швидко. Будьте тими, хто зробить. Якщо цей епізод допоміг вам зрозуміти OnLake, підпишіться на Microsoft Knowledge Nuggets для отримання додаткового контенту про фебрік простою мовою. І поділіться цим із кимось, хто все ще керує п'ятьма окремими озерами даних. Вони подякують вам пізніше.