Вітаємо в черговому епізоді. Сьогоднішня тема – це те, про що ви, мабуть, чули на нарадах або в технічних статтях Microsoft Fabric. Але якщо ви, як і більшість людей, не зовсім впевнені, що це таке насправді? Чи це просто черговий продукт Microsoft, ребрендинг чогось старого, чи щось зовсім інше? Дозвольте дати коротку відповідь. Microsoft Fabric – це не просто ще один продукт. Це цілісна платформа даних, одне місце, де можна виконувати всю роботу з даними, Зберігання, трансформацію, аналітику та звітність – усе в одному місці. Наприкінці цього епізоду ви зрозумієте, що таке Fabric, чому Microsoft її створила і як основні компоненти поєднуються між собою. Беріть каву і почнемо. Старий підхід – чому робота з даними була неефективною. Щоб зрозуміти, чому існує Fabric, потрібно усвідомити проблему, яку вона вирішує. 20 років тому, якби ви керували компанією, ви б купували сервер для зберігання даних, окремий інструмент для звітів і ще один продукт для аналізу в реальному часі. Ви й озернутися не встигли б, як у вас з'явилося 5 різних систем, кожна зі своїм логіном, способом роботи та окремою командою для підтримки. Тривалий час дані зберігалися в ізольованих сховищах, силосах. Дані про продажі лежали в одній системі, дані клієнтів – в іншій, а фінансові дані – взагалі де інде. Якщо ви хотіли поставити запитання, що охоплювало ці системи, наприклад, як і клієнти купують найбільш прибуткові товари, системами витрачалося більше часу, ніж на їх аналіз. Інтеграція даних стала роботою на повний день для цілих команд. Найгірше те, що кожного разу, коли ви переміщували дані, ви створювали нову копію, нову версію істини, і незабаром ніхто не знав, яка з копій є правильною. Компанія Microsoft проаналізувала цю фрагментацію і поставила просте запитання. Що якби всі ці сервіси працювали разом? Що якби замість того, щоб вшивати окремі продукти, ви мали одну платформу, яка робить усе? Це запитання і призвело до створення Microsoft Fabric. Що насправді являє собою Microsoft Fabric? Отже, що таке Fabric? Ось найпростіше визначення. Microsoft Fabric – це уніфікована платформа для роботи з даними та аналітики. Єдине місце для всієї вашої роботи з даними. Уявіть, це як сучасний офісний будинок. Кожен інструмент, як от Pava BI або Azure Synapse – це кімната всередині цього будинку. Вони мають власне призначення, меблі та інструменти, але всі вони є частиною однієї структури. Вам не потрібно виходити на вулицю, щоб потрапити з однієї кімнати в іншу. Вони з'єднані між собою. Ось що робить Fabric. Він об'єднує інженерію даних, їх інтеграцію, сховища, аналітику в реальному часі та бізнес-аналітику на одній платформі. Усе працює як єдина SaaS-платформа, тому вам не потрібно керувати інфраструктурою, налаштовувати сервери чи мережі. Microsoft бере на себе все це за вас. З моменту запуску у 2023 році Fabric став продуктом для роботи з даними, що зростає найшвидше в історії Microsoft. Сьогодні ним користуються понад 25 тисяч клієнтів, зокрема 80% компаній зі списку Focion 500. Це значне впровадження за дуже короткий час. Ключова відмінність ось у чому раніше ви купували окремі продукти і намагалися змусити їх працювати разом. З Fabric вам більше не потрібно поєднувати різні сервіси. Це один інтерфейс, один логін, один стиль роботи, і це змінює все. OnLake – це основа. Тепер поговоримо про фундамент, завдяки якому все це працює. У центрі Fabric – те, що називається OnLake. Найпростіше уявити OnLake як OnEDrive для ваших даних. Ви знаєте, як OnEDrive надає єдине місце для зберігання особистих файлів, до яких має доступ будь-який додаток на комп'ютері. OnLake робить те саме, але для даних вашої організації. Ось що робить його таким потужним. Будь-яке робоче навантаження Fabric, чи то Lakehouse, сховище або аналітика в реальному часі, автоматично зберігає дані OnLake. Вам не потрібно нічого копіювати вручну або налаштовувати з'єднання. Це відбувається автоматично. Існує лише один OnLake на орендаря, Tenant – єдине джерело істини для всієї вашої організації. Можливо, ви думаєте, а що, якщо я захочу змінити платформу пізніше? Чи буду я прив'язаний до неї? Відповідь – ні. OnLake зберігає дані у відкритих форматах, таких як DeltaPak, промисловий стандарт, що використовується Databricks та Apache Spark. Ви ніколи не будете обмежені лише Microsoft. Якщо ви захочете перенести свої дані кудись інде, ви зможете це зробити. Це ваші дані. Але ось де OnLake стає справді цікавим – ярлики, шоткатс. Ярлик – це віртуальний показчик на дані, що зберігаються в іншому місці. Ви можете створити ярлик до даних в AWSS3, Google Cloud або навіть у локальному сховищі, і вони відобразяться в OnLake, ніби зберігалися там. Жодного переміщення даних, жодного дублювання. Ви просто вказуєте шлях, і вони з'являються. OnLake побудовано на основі Azure Data Lake Storage, хмарного сховища корпоративного рівня, але вам не потрібно керувати інфраструктурою, оскільки це SaaS-сервіс. Вам не потрібно налаштовувати сервери чи мережі, ви просто користуєтесь ними. Що це означає для вас? Це означає, що дані з багатьох джерел, хмарних сховищ, локальних баз та сторонніх платформ з'являються в одному місці без дублювання. А в чому справжня сила? Будь-які дані, записані в OnLake, негайно стають доступними для будь-якого робочого навантаження фебрік. Ви записуєте один раз, і кожен інструмент у фебрік їх бачить. Це і є магія OneLake. LakeHouse – центр обробки даних. Отже, ваші дані вже в OneLake. Тепер потрібно з ними працювати. Саме тут на допомогу приходить LakeHouse. Ось найпростіше визначення. LakeHouse – це сховище даних, що поєднує гнучкість озера даних зі структурою бази даних. У традиційному озері даних можна зберігати все CSV-файли, JSON-документи, зображення, відео, але там немає структури чи схеми, тому запити робити складно. У традиційній базі даних усе структуровано і доступно для запитів, але можна зберігати лише певні типи даних. LakeHouse дає вам і те, і інше. У LakeHouse можна зберігати необроблені файли, як от CSV, JSON, або навіть зображення. А також структуровані таблиці, до яких можна робити запити через SQL. Обидва типи живуть в одному місці. Ці таблиці використовують формат DeltaPak, той самий швидкий відкритий формат, що застосовується в Databricks та інших платформах для обробки величезних обсягів даних. LakeHouse підтримує різні інструменти. Ви можете використовувати SPAC для масштабної обробки даних. Ви можете використовувати Python для машинного навчання. Ви можете використовувати SQL для простих запитів. Який би інструмент ви не обрали, LakeHouse впорається. Уявляйте LakeHouse як робочий простір для побудови конвейерів даних. Ви завантажуєте необроблені дані, трансформуєте, очищаєте та готуєте їх до аналізу. Ви можете запускати на них моделі машинного навчання. Ви можете створювати навчальні набори даних усе в одному місці. Для дата інженерів, які віддають перевагу коду, LakeHouse підтримує блокноти. Це інтерактивні документи, де ви пишете код, бачите результати та документуєте роботу як лабораторний журнал для даних. Ви можете написати код SPAC в одній комірці, побачити вивід у наступній і пояснити, що ви зробили у комірці після цього. LakeHouse – це точка входу для більшості дата інженерів, що працюють у Fabric. Це місце, де відбувається основна важка робота, і оскільки все зберігається в одному місці, будь-які дані в LakeHouse миттєво доступні для інших процесів Fabric у сховищах, тобто SQL-аналітичному рушію. Отже, якщо LakeHouse – це центр обробки даних, то склад – це SQL-аналітичний рушій, створений для іншого типу користувачів. Сховище у Fabric – це повністю керована SQL-база даних для аналітики. Якщо ви адміністратор баз даних або SQL-розробник, тут ви почуватиметеся, як вдома. Ви можете писати ті SQL-запити, створювати представлення, збережені процедури та політики безпеки. Це виглядає та відчувається як традиційне сховище даних, але ось у чому його відмінність. На відміну від традиційного сховища, сховище Fabric зберігає дані безпосередньо в одному озері. Тут немає окремого рівня зберігання чи додаткової інфраструктури для керування. Дані живуть в одному озері, а сховище – це лише інтерфейс, який ви використовуєте для запитів. Це важливо, оскільки сховище та Lakehouse використовують одні й ті самі дані, тому ви нічого не дублюєте. Якщо Data Engineer завантажує дані в Lakehouse SQL, розробник може одразу запитувати їх зі сховища. Жодного копіювання чи переміщення. Це ті самі дані, до яких можна отримати доступ через різні інструменти. Сховище створене для масштабної аналітики. Під капотом воно використовує масово паралельну обробку для роботи з величезними наборами даних. І Microsoft активно інвестує в продуктивність. Лише за останні шість місяців продуктивність зросла на 36%. Це значне покращення за короткий час. Якщо ви переходите з іншої платформи, у Fabric є помічник з міграції, який допоможе переїхати зі Snowflake або Synapse. Він аналізує вашу поточну систему та веде вас через увесь процес. Мета – зробити міграцію максимально безболісною. Отже, у чому різниця між Lakehouse та сховищем? Все зводиться до інтерфейсу. Сховища орієнтовані на SQL. Вони створені для тих, хто мислить таблицями, запитами та збереженими процедурами. Lakehouse орієнтовані на розробників. Вони створені для тих, хто хоче використовувати SPAC, Python та блокноти. Але в основі обидва зберігають дані в одному озері. Це два способи роботи з тими самими даними. Отримання даних, Data Factory, дзеркалювання та ярлики. Отже, у вас є одне озеро для зберігання, Lakehouse для трансформації та сховища для запитів, але як дані потрапляють всередину. Саме тут на допомогу приходить Data Factory. Data Factory – це вбудована служба інтеграції даних Fabric, яка пропонує понад 200 коннекторів для отримання даних з баз даних, хмарних сховищ, SAS додатків тощо. Це найбільш використовуваний інструмент інтеграції даних у світі і не дарма. У складі Data Factory ви отримуєте Data Flows Gen 2, які забезпечують нову код спосіб трансформації даних через Pava Query. Якщо ви коли-небудь користувалися Pava Query в Excel або Pava BI, ви вже знаєте, як це працює. Це працюється для роботи з величезними наборами даних. Понад 22 мільярди оркестрацій запускаються в Data Factory щомісяця, а це означає, що мільярди операцій переміщення даних відбуваються автоматично, що робить її серйозною інфраструктурою. Але є ще простіший спосіб переміщення даних у OnLake – дзеркалювання Mirroring. Дзеркалювання копіює дані із зовнішніх баз, як от Azure SQL, Oracle або Google Big Query, у OnLake майже в режимі реального часу, і ось найкраща частина. Це безкоштовно, включено у вартість сервісу без жодних додаткових витрат. Ви просто вказуєте свою вихідну базу даних, а Fabric бере на себе решту. Далі йдуть ярлики, про які ми згадували раніше, але вони заслуговують на більше уваги. Ярлики – це віртуальні посилання на дані, що зберігаються в іншому місці, які не потребують переміщення самих даних. Ви створюєте ярлик до кошика AWSS3, і він з'являється в OnLake так, ніби він там зберігався, тоді як дані залишаються на своєму місці. Ви просто вказуєте на них. А тепер ярлики можуть робити більше, ніж просто посилатися. Трансформації ярликів дозволяють застосовувати перетворення на основі штучного інтелекту на люту. Ви можете виконувати аналіз тональності текстових даних, перекладати вміст або виявляти персональні дані, не переміщуючи дані і не створюючи конвейери. Трансформація відбувається в момент вашого доступу до даних. Мета всіх цих інструментів проста – об'єднати всі ваші дані в OnLake без створення складних конвейерів. Незалежно від того, чи використовуєте видейта-фектори для традиційного ETL, дзеркалювання для реплікації майже в реальному часі чи ярлики для віртуального доступу, результат один і той самий. Ваші дані опиняються в OnLake, готові до будь-якого робочого навантаження фебрик. Інтелектуальний аналіз у реальному часі, бази даних та щі. Досі ми говорили про переміщення та зберігання даних, але що робити з даними, які ніколи не припиняють рух. Потокові дані Z-датчиків, клікстріми веб-сайтів, телеметрія з пристрою. Ось тут на допомогу приходить інтелектуальний аналіз у реальному часі. Фебрик обробляє потокові дані за допомогою так званого AventHouse, який зберігає та запитує великі обсяги часових рядів даних, використовуючи KQL, мову запитів Касто. Це той самий рушій, що забезпечує роботу Azure Data Explorer, створений для швидкості, тож ви можете отримувати мільйони подій за секунду і опитувати їх за мілі секунди. Це важливо і ось чому. 46% клієнтів Фебрик уже використовують інтелектуальний аналіз у реальному часі. Це майже половина. Варіантів використання безліч. Логістична компанія відстежує вантажівки, ритейлер контролює потік покупців у магазині, виробник спостерігає за даними датчиків обладнання, усе це відбувається в реальному часі. Але Фебрик – це не лише аналітика. Вона також включає операційні бази даних, як от SQL для реляційних даних і Cosmos DB для робочих навантажень на SQL. Це ті самі бази даних, які ви використовуєте для роботи своїх застосунків. І оскільки вони вбудовані у Фебрик, вони автоматично зберігають свої дані вонлий. Жодних додаткових конвейерів, жодного ручного копіювання. Ваші транзакційні та аналітичні дані знаходяться в одному місці. Тепер поговоримо про ЩІ, бо саме тут Фебрик стає дійсно цікавим. Інтеграція ЩІ глибоко впроваджена в платформу, і ви отримуєте готові моделі для аналізу тексту, перекладу та аналізу тональності. Ви можете використовувати їх безпосередньо у своїх потоках даних без написання коду. Просто вкажіть на свої дані, виберіть модель, і вона запрацює. А ще є Coopilot, який інтегрований у всю систему Фебрик. Він допомагає вам писати запити, створювати звіти та розробляти конвейери. Ви просто описуєте те, що хочете звичайною мовою, а Coopilot генерує код. Це ніби молодший інженер даних сидить поруч із вами, готовий допомогти будь-якої миті. Бачення тут просте. Щі працює з вашими даними, нікуди їх не переміщуючи. Ваші дані залишаються в онлейк, а моделі Щі приходять до даних. Жодного копіювання, експорту чи ризиків для безпеки. Дані ніколи не залишають ваше кероване середовище. PAWA BI – управління та бізнес-цінність Тепер ми переходимо до частини, яку бачить більшість людей вхідних дверей до аналітики – PAWA BI. Його використовують 550 тисяч організацій та 34 мільйони користувачів щомісяця, що робить його найпопулярнішим інструментом бізнес-аналітики у світі. І у Fabric він стає чимось значно потужнішим. Ось у чому головне. У Fabric PAWA BI підключається безпосередньо до ONLake за допомогою режиму DirectLake. Це відрізняється від традиційного режиму імпорту, де ви копіюєте дані у внутрішнє сховище PAWA BI. Натомість DirectLake запитує дані там, де вони лежать у ONLake, без потреби воновленні, без дублювання, а дані завжди актуальні та надшвидкі. Під кожним звітом PAWA BI лежить семантична модель мозок вашого звіту, де ви визначаєте бізнес-логіку, метрики та зв'язки. І тепер ви можете будувати ці моделі повністю у веб-браузері. Веб-моделювання вже доступне, тому ви можете створювати семантичні моделі, будувати зв'язки та писати DX-метрики прямо в браузері, навіть на мат. Жодного настільного додатка не потрібно. Але вся ця потужність даних нічого не варта без управління, і в Fabric воно вбудуване від самого початку. Microsoft Perview надає мітки конфіденційності, які слідують за вашими даними всюди. Якщо звіт містить конфіденційну інформацію, ця мітка залишається з ним навіть після експорту. Політики запобігання втраті даних автоматично виявляють конфіденційні дані та блокують несанкціонований доступ. А засоби контролю доступу гарантують, що лише потрібні люди бачать потрібні дані. Домени допомагають організувати дані за напрямками бізнесу з окремими правилами управління, тому фінансові дані можуть мати суворіший контроль, ніж маркетингові. Кожен домен може керуватися власною командою, що забезпечує управління, яке масштабується разом із вашою організацією. Тепер давайте поговоримо про реальні результати. Це не просто теорія. Компанія Eastman Chemical використала Fabric, щоб скоротити час підготовки продажів на 83%. Те, що раніше займало 4 години, тепер триває близько 40 хвилин. Ітан Салушен скоротили ручну працю на 75%, і процеси, що потребували від 10 до 15 кроків, тепер потребують лише двох. А Саната Софтвер заощадила 30 тисяч годин ручної звірки щороку, спрямувавши ці зусилля на більш цінну роботу. Модель витрат проста. Ви платите заємність обчислювальну потужність, яка запускає ваші робочі навантаження. Microsoft має вбудовані функції згладжування та захисту від сплесків для керування піковими навантаженнями. Згладжування розподіляє витрати на фонові операції на 24 години, щоб ви не отримували раптових стрибків, а захист від сплесків обмежує фонові завдання в періоди високої активності для стабільної інтерактивної роботи. Ви платите за те, що ви користовуєте, і жодних сюрпризів. Давайте підсумуємо все сказане. Fabric – це не просто ще один продукт Microsoft. Це повне переосмислення того, як мають працювати платформи даних. Одна платформа, одне сховище, одна копія даних і нескінченні можливості. А завдяки вбудованим AI та Coopilot вона доступна кожному. Перейдіть на fabric.microsoft.com, почніть безкоштовну пробну версію та створіть свій перший робочий простір. Просто спробуйте. Ви побачите, як усе поєднується, і це не замінить жодна кількість прочитаних текстів. Якщо цей епізод допоміг вам краще зрозуміти Fabric, підпишіться на своїй улюбленій подкаст-платформі та поділіться ним із тими, хто починає свій шлях у світі даних. Вони вам подякують. Наступного разу ми простою мовою розберемо ярлики онлей. Як вони працюють, чому вони важливі та як ними користуватися, не переміщуючи дані. Цей випуск ви точно не захочете пропустити. А доти продовжуйте вчитися.