Добро пожаловать в новый выпуск. Сегодняшняя тема – то, о чем вы наверняка слышали на собраниях или в статьях Microsoft Fabric. Но, как и большинство, вы, возможно, не до конца понимаете, что это такое. Это просто очередной продукт Microsoft, ребрендинг старого или что-то совершенно иное. Позвольте дать вам краткий ответ. Microsoft Fabric – это не просто очередной продукт. Это полноценная платформа данных, где собрано все хранение, преобразование, аналитика и отчетность в одном месте. К концу этого выпуска вы поймете, что такое Fabric, зачем Microsoft ее создала и как связаны ее основные компоненты. Берите кофе и давайте начнем. Старый подход. Почему работа с данными была затруднена? Чтобы понять, зачем нужна Fabric, нужно понять проблему, которую она решает. 20 лет назад, управляя компанией, вы покупали сервер для хранения данных, отдельный инструмент для отчетов и еще один продукт для анализа в реальном времени. В итоге у вас 5 разных систем, каждая со своим доступом, методами работы и командой сопровождения. Долгое время данные находились в изоляции. Данные о продажах – в одной системе, данные о клиентах – в другой, а финансовые данные – где-то еще. Если вы хотели получить ответ, затрагивающий все системы, например, какие клиенты покупают самые прибыльные продукты, данные приходилось переносить. Экспортировать из одной, преобразовать, загрузить в другую и повторять это при каждом изменении данных. На перемещение данных уходило больше времени, чем на их анализ. Интеграция данных стала полноценной работой для целых команд. Хуже всего-то, что при каждом переносе создавалась копия, новая версия правды, и вскоре никто уже не знал, какая из них верна. Microsoft взглянула на эту разрозненность и задала простой вопрос. Что, если все эти службы будут работать вместе? Что, если вместо объединения отдельных продуктов у вас будет одна платформа для всего? Этот вопрос и привел к созданию Microsoft Fabric. Что же такое Microsoft Fabric на самом деле? Итак, что же такое Fabric? Вот самое простое определение. Microsoft Fabric – это единая платформа для работы с данными и аналитики. Одно место для всей вашей работы с данными. Представьте ее как современное офисное здание. Каждый инструмент, например, Power BI или Azure Synapse – это комната в этом здании. У них свои задачи, обстановка и инструменты, но все они часть одной структуры. Вам не нужно выходить на улицу, чтобы попасть из одной комнаты в другую. Они соединены между собой. Именно это и делает Fabric. Она объединяет проектирование и интеграцию данных, хранилище данных, аналитику в реальном времени и бизнес-аналитику на одной платформе. Все работает на единой SIS-платформе, а значит, вам не нужно управлять инфраструктурой, настраивать серверы или конфигурации сети. Microsoft берет все это на себя. С момента запуска в 2023 году Fabric стала самым быстрорастущим продуктом для работы с данными в истории Microsoft. Сегодня ее используют более 25 тысяч клиентов, включая 80% компаний из списка Fortune 500. Это впечатляющий уровень внедрения за столь короткий срок. Ключевое отличие – вот в чем, раньше вы покупали разные продукты и пытались заставить их работать вместе. С Fabric вам больше не нужно сшивать разные сервисы. Это единый интерфейс, единый вход и единый метод работы. И это меняет все. One Lake – основа системы. А теперь давайте поговорим об основе, которая обеспечивает работу всего этого. В центре Fabric находится компонент под названием One Lake. Проще всего представить One Lake как OneDrive для ваших данных. Вы знаете, что OneDrive предоставляет единое место для хранения всех личных файлов, к которым может обратиться любое приложение на вашем компьютере. One Lake делает то же самое, но для данных вашей организации. Вот что делает ее такой мощной. Любая рабочая нагрузка в Fabric, будь то League House, хранилище или аналитика в реальном времени, автоматически сохраняет свои данные в One Lake. Вам не нужно вручную копировать что-либо или настраивать подключение. Все происходит автоматически. На один тенант приходится только один One Lake, единый источник достоверной информации для всей вашей организации. Возможно, вы спросите, что, если позже я захочу сменить платформу, буду ли я привязан к ней. Ответ – нет. One Lake хранит данные в открытых форматах, таких как Delta Parquet, отраслевом стандарте, используемом Databricks и Apache Spark. Вы никогда не будете привязаны к Microsoft. Если вы захотите переместить свои данные в другое место, вы сможете это сделать. Это ваши данные. Но вот что в One Lake действительно интересно – ярлыки. Ярлык – это виртуальный указатель на данные, которые хранятся где-то еще. Вы можете создать ярлык на данные в AWS S3, Google Cloud или даже в локальном хранилище, и они появятся в One Lake, как будто они там и лежали. Никакого перемещения данных, никакого дублирования. Вы просто указываете на них, и они появляются. One Lake построена на базе Azure Data Lake Storage, корпоративного облачного хранилища Microsoft, но вы не управляете этой инфраструктурой, так как она предоставляется как SES-сервис. Вам не нужно настраивать серверы или сети, вы просто пользуетесь ими. Что это значит для вас? Это значит, что данные из разных источников, облачных хранилищ, локальных баз данных и сторонних платформ теперь собраны в одном месте без дублирования. А в чем настоящая сила? Любые данные, записанные в One Lake, сразу же доступны для использования в любой рабочей нагрузке фабрик. Вы записываете их один раз, и они видны во всех инструментах фабрик. В этом и заключается магия One Lake. Lakehouse – центр обработки данных. Итак, ваши данные теперь в One Lake. Теперь с ними нужно работать. И здесь на помощь приходит Lakehouse. Вот самое простое определение. Lakehouse – это хранилище данных, сочетающие гибкость озера данных со структурой базы данных. В традиционном озере данных можно хранить что угодно – файлы CSV, JSON, изображения, видео, но из-за отсутствия структуры или схемы их сложно анализировать. В традиционной базе данных все структурировано и доступно для запросов, но хранить там можно только определенные типы данных. Lakehouse дает вам это и другое. В Lakehouse можно хранить как сырые файлы, такие как CSV, JSON или даже изображения. А можно хранить структурированные таблицы, доступные для SQL-запросов. Ита и другое находятся в одном месте. Эти таблицы используют формат Delta Parket, тот же открытый и быстрый формат, который применяют Databricks и другие крупные платформы для обработки огромных объемов данных. Lakehouse поддерживает множество инструментов. Вы можете использовать Spark для крупномасштабной обработки данных. Вы можете использовать Python для машинного обучения. Вы можете использовать SQL для простых запросов. Какой бы инструмент вы не предпочли, Lakehouse справится с ним. Представьте Lakehouse как рабочее пространство для создания конвейеров данных. Вы загружаете необработанные данные, преобразуете их, очищаете и готовите к анализу. На них можно запускать модели машинного обучения. Вы можете создавать наборы обучающих данных, и все это в одном месте. Для инженеров данных, предпочитающих среду с написанием кода, Lakehouse поддерживает блокноты. Это интерактивные документы, где можно писать код, видеть результаты и документировать свою работу, словно лабораторный журнал для данных. Вы пишете код на Spark в одной ячейке, видите результат в следующей, а в третьей описываете проделанные действия. Lakehouse – это точка входа для большинства инженеров данных, работающих в фабрик. Здесь выполняется основная работа, и поскольку все хранится в едином озере, любые данные в Lakehouse сразу доступны для других рабочих нагрузок фабрик. Например, в хранилищах данных, SQL-аналитических движках. Итак, если Lakehouse – это центр обработки данных, то хранилище в Airhouse – это SQL-аналитический движок, созданный для другого типа пользователей. Хранилище данных в фабрик – это полностью управляемая аналитическая SQL-база данных. Если вы администратор базы данных или SQL-разработчик, здесь вы почувствуете себя как дома. Вы можете писать в SQL-запросы, создавать представления, хранимые процедуры и политики безопасности. Это выглядит и ощущается как традиционное хранилище данных, но вот в чем его отличие. В отличие от традиционных хранилищ, хранилище фабрик сохраняет данные прямо в OneLake. Нет отдельного уровня хранения и дополнительной инфраструктуры для управления. Данные находятся в OneLake, а хранилище – это просто интерфейс для выполнения запросов. Это важно, так как хранилище и Lakehouse используют одни и те же данные, поэтому дублирования нет. Если Data Engineer загружает данные в Lakehouse, SQL-разработчик может сразу запросить их из хранилища. Никакого копирования или перемещения. Это одни и те же данные, к которым просто обращаются через разные инструменты. Хранилище создано для крупномасштабной аналитики. В его основе лежит технология массовой параллельной обработки для работы с огромными объемами данных. И Microsoft активно инвестирует в повышение производительности. Только за последние шесть месяцев производительность выросла на 36%. Это значительный прогресс за короткий промежуток времени. Если вы переходите с другой платформы, в фабрик есть помощник по миграции со Snowflake или Synapse. Он анализирует вашу текущую настройку и ведет вас через весь процесс. Цель состоит в том, чтобы сделать миграцию максимально безболезненной. Так в чем же разница между Lakehouse и хранилищем данных? Все сводится к интерфейсу. Хранилища ориентированы прежде всего на SQL. Для тех, кто мыслит категориями таблиц, запросов и хранимых процедур. Lakehouse ориентированы прежде всего на разработчиков. Они созданы для тех, кто предпочитает использовать Spark, Python и ноутбуки. Но в основе своей они оба хранят данные в одном и том же озере данных, ванлей. Это два способа работы с одними и теми же данными. Загрузка данных, Data Factory, зеркалирование и ярлыки. Итак, у вас есть ванлейк для хранения, Lakehouse для трансформации и хранилища для запросов. Но как данные попадают внутрь? Именно здесь на помощь приходит Data Factory. Data Factory — это встроенная служба интеграции данных в фабрик, предлагающая более 200 коннекторов для получения данных из BD, облачных хранилищ, SIS-приложений и многого другого. Это самый популярный инструмент интеграции данных в мире, и не без оснований. Внутри Data Factory вы получаете Data Flows JAN2, которые позволяют трансформировать данные без кода с помощью Power Query. Если вы когда-либо использовали Power Query в Excel или Power BI, вы уже знаете, как это работает. Вы используете визуальный интерфейс, чтобы очищать, преобразовывать и объединять данные. Код не требуется. Решение готово к промышленной эксплуатации и масштабируется для обработки огромных массивов данных. Каждый месяц в Data Factory выполняется более 22 миллиардов операций оркестрации, что означает автоматическое перемещение миллиардов единиц данных, делая этот сервис важнейшим элементом инфраструктуры. Но есть еще более простой способ загрузки данных в One Lake — зеркалирование. Зеркалирование копирует данные из внешних баз данных, таких как Azure SQL, Oracle или Google BigQuery, в One Lake почти в реальном времени. И вот что самое приятное. Это бесплатно и включено в сервис без дополнительных затрат. Вы просто указываете свою исходную базу данных, а фабрик берет на себя все остальное. Далее идут ярлыки, о которых мы уже упоминали, но они заслуживают большего внимания. Ярлыки — это виртуальные указатели на данные, хранящиеся в другом месте, которые не требуют перемещения данных. Вы создаете ярлык в корзине AWS S3, и он отображается в One Lake так, будто данные хранятся там, хотя фактически они остаются на месте. Вы просто указываете на них. А теперь ярлыки могут не только указывать на данные. Преобразование ярлыков позволяет применять трансформации на базе и на лету. Вы можете проводить анализ тональности текста, переводить контент или выявлять персональные данные, и все это без перемещения данных или создания конвейеров. Преобразование происходит непосредственно в момент доступа к данным. Цель всех этих инструментов проста — собрать все ваши данные в One Lake без необходимости строить сложные конвейеры. Используете ли вы Data Factory для традиционного ETL, зеркалирования для репликации в реальном времени или ярлыки для виртуального доступа «Результат 1». Ваши данные попадают в One Lake и готовы к использованию в любой рабочей нагрузке фабрик. Аналитика в реальном времени, базы данных и ИИ. До сих пор мы говорили о перемещении и хранении данных, но как насчет данных, которые постоянно находятся в движении? Потоковые данные с IoT-датчиков, кликстримы с веб-сайтов, телеметрия с устройств. Здесь на помощь приходит аналитика в реальном времени. Фабрик обрабатывает потоковые данные с помощью так называемого Event House, который хранит и запрашивает большие объемы временных рядов с использованием KQL языка запросов каста. Это тот же движок, что и в Azure Data Explorer, созданный для скорости, позволяющий принимать миллионы событий в секунду и запрашивать их за миллисекунды. Это важно, и вот почему. 46% клиентов фабрик уже используют аналитику в реальном времени. Это почти половина. Варианты использования встречаются повсюду. Логистическая компания отшлеживает грузовики, ретейлер следит за посещаемостью магазинов, производитель наблюдает за данными датчиков оборудования, все это происходит в реальном времени. Но фабрик – это не только аналитика. Он также включает операционные базы данных, такие как SQL Database для реляционных данных и Cosmos DB для NoSQL нагрузок. Это те же базы данных, которые вы используете для работы своих приложений. И поскольку они встроены в фабрик, они автоматически сохраняют свои данные в OneLake. Никаких лишних конвейеров и ручного копирования. Ваши транзакционные и аналитические данные находятся в одном месте. Теперь поговорим об И, ведь именно здесь фабрик становится по-настоящему интересным. Интеграция И глубоко пронизывает всю платформу. Вам доступны готовые модели для анализа текста, перевода и анализа тональности. Вы можете использовать их напрямую в потоках данных, не написав ни строчки кода. Просто укажите на свои данные, выберите модель, и она заработает. А еще есть Копайлот, который встроен во все компоненты фабрик. Он помогает писать запросы, создавать отчеты и конвейеры данных. Вы просто описываете задачу на обычном языке. А Копайлот генерирует код. Это как если бы рядом с вами сидел младший инженер по данным, готовый помочь в любую минуту. Концепция здесь проста. И работает с вашими данными, не перемещая их куда-либо. Ваши данные остаются в OneLake, а модели и приходят к данным. Никакого копирования, экспорта или риска в безопасности. Данные никогда не покидают вашу контролируемую среду. Power BI, управление данными и бизнес-ценность. Теперь перейдем к тому, что видят большинство пользователей. К парадному входу, к аналитике, то есть Power BI. Его используют 550 тысяч организаций и 34 миллиона пользователей ежемесячно. Что делает его самым популярным инструментом бизнес-аналитики в мире. А в составе фабрик он становится еще мощнее. В этом главный секрет. Фабрик-сервис Power BI подключается напрямую к OneLake, используя так называемый режим DirectLake. Это отличается от традиционного режима импорта, при котором вы копируете данные во внутреннее хранилище Power BI. Вместо этого DirectLake запрашивает данные там, где они лежат в OneLake без необходимости обновления, без дублирования, быстро и всегда актуально. В основе каждого отчета Power BI лежит семантическая модель, мозг вашего отчета, где вы определяете бизнес-логику, меры и связи. И теперь вы можете создавать такие модели полностью в веб-браузере. Веб-моделирование общедоступно, поэтому создавать семантические модели, выстраивать связи и писать меры DX можно прямо в браузере, даже на Mac. Настольное приложение больше не требуется. Но вся эта мощь данных ничего не значит без управления, и в фабрик средства управления встроены с самого начала. Microsoft Perview предоставляет метки конфиденциальности, которые следуют за вашими данными повсюду. Если отчет содержит конфиденциальную информацию, метка останется на нем даже после экспорта. Политики предотвращения потери данных автоматически распознают конфиденциальные данные и блокируют несанкционированный доступ. А средства контроля доступа гарантируют, что только нужные люди увидят нужные данные. Домены помогают упорядочить данные по бизнес-направлениям с отдельными правилами управления. Так, ваши финансовые данные могут иметь более строгие ограничения, чем маркетинговые. Каждым доменом может управлять своя команда, что обеспечивает масштабируемое управление в рамках всей организации. А теперь поговорим о реальных результатах. Это не просто теория. Компания Eastman Chemical использовала фабрик, чтобы сократить время подготовки продаж на 83%. То, на что раньше уходило 4 часа, теперь занимает около 40 минут. Итан Сальюшинс сократил объем ручного труда на 75%, выполняя за два шага процессы, которые раньше требовали от 10 до 15. А Sonata Software ежегодно экономит 30 тысяч часов ручной сверки данных, перенаправляя этот человеческий ресурс на более важные задачи. Модель оплаты проста и понятна. Вы платите за емкость, вычислительную мощность, на которой выполняются ваши рабочие нагрузки. В Microsoft встроены функции сглаживания и защиты от скачков для управления пиковыми нагрузками. Сглаживание распределяет затраты на фоновые операции в течение 24 часов, чтобы избежать внезапных скачков, а защита от перегрузок ограничивает фоновые задания в периоды активности для поддержания стабильной интерактивной производительности. Вы платите за то, что используете, и никаких сюрпризов. Давайте подведем итог. Фабрик — это не просто очередной продукт Microsoft. Это полное переосмысление того, как должны работать платформы данных. Одна платформа, одно хранилище, одна копия данных и бесконечные возможности. А благодаря встроенным и ИК-пайлот, она доступна каждому. Не только специалистам по данным, но и бизнес-аналитикам, отделам продаж, операционным менеджарам, всем, кому нужны ответы на основе данных. Вот ваши домашние задания. Перейдите на сайт fabric.microsoft.com, начните бесплатную пробную версию и создайте свое первое рабочее пространство. Просто попробуйте. Вы увидите, как все части складываются в единое целое, что невозможно заменить никаким чтением документации. Если этот выпуск помог вам лучше понять Фабрик, подпишитесь на платформе, где вы слушаете подкасты, и поделитесь им с теми, кто только начинает свой путь в работе с данными. Они скажут вам спасибо. В следующий раз мы простыми словами разберем ярлыки OneLake. Как они работают, почему важны и как использовать их без перемещения данных. Этот выпуск точно стоит посмотреть. А пока продолжайте учиться.