Сегодняшняя тема знакома почти всем, кто работает с данными, но мало кто понимает ее до конца. Microsoft Fabric One Lake. Вы наверняка видели это в рекламе Microsoft или слышали, как его называют единым озером данных для всей организации. Но что это означает на самом деле? Это просто очередное хранилище или нечто принципиально иное? Вот самое простое определение. One Lake – это единое логическое озеро данных, расположенное в центре Microsoft Fabric. Каждая служба фабрик – League House, Хранилище, Event House, Power BI – все они хранят здесь свои данные. И главное правило здесь простое. Одна физическая копия данных, доступная для множества различных механизмов. Больше не нужно копировать данные из одного инструмента в другой. Больше не нужно гадать, какая версия отчета верна. К концу этого выпуска вы поймете, что такое One Lake, как он устраняет дублирование данных и почему меняет правила игры для Power BI, инженерии данных и ИИ. Давайте начнем с проблемы, для решения которой был создан One Lake. Проблема. У каждого отдела свое собственное озеро. Представьте, что вы работаете в компании среднего размера. Ваш отдел продаж использует CRM-систему для отслеживания сделок. Финансовый отдел ведет учет в ERP для биллинга и счетов. Маркетологи выгружают данные из своих инструментов для компаний. А команда инженеров данных управляет хранилищем данных для отчетности. Вот о чем я хочу, чтобы вы задумались. Сколько копий одних и тех же данных о клиентах существует во всех этих системах? В большинстве компаний ответ 4 или 5. Их хранит CRM. Их хранит ERP. Маркетинг экспортирует их в свой инструмент аналитики. Кто-то в финансах создает таблицу на основе данных из ERP. А команда инженеров данных копирует их в хранилище, чтобы их мог прочитать Power BI. Это один и тот же ID клиента, та же сумма продаж, та же дата счета, сохраненные в пяти разных местах. Дело не в том, что люди невнимательны. Просто старые инструменты не взаимодействовали друг с другом. Если вы хотели создать отчет, объединяющий данные о продажах из CRM с финансовыми данными из ERP, вам приходилось копировать оба набора в систему, способную прочитать их вместе. Это означало создание конвейеров, планирование задач и надежду, что за ночь ничего не сломается. Скрытые издержки быстро растут. Счета захоронения увеличиваются, потому что вы платите за одни и те же данные пять раз. Отчеты устаревают, потому что одна копия обновляется, а другая нет. А потом кто-то задает вопрос, на который никто не хочет отвечать. Какая версия правильная? Это неразбериха подрывает доверие к данным. А как только доверие пропадает, люди перестают пользоваться аналитической платформой вовсе. Итак, Майкрософт взглянула на этот беспорядок и задала простой вопрос, что если бы у вас была одна копия данных, которую мог бы прочитать любой инструмент, никакого дублирования, никакой путаницы, один источник достоверной информации. Что же такое OneLake? OneLake — это ответ Майкрософт на этот вопрос. Это единое логическое озеро данных для всей вашей организации. Ключевая фраза, которую нужно запомнить, одно озеро на арендатора, а не одно озеро на команду. По сути, OneLake построена на базе Azure Data Lake Storage Jan 2. Та же технология, те же API, но Майкрософт переработала ее в полностью управляемый SIS-сервис. Вам не нужно создавать учетные записи хранения, управлять контейнерами или настраивать ключи доступа, вы просто пользуетесь им. Представьте это как OneDrive для данных вашей компании. OneDrive предоставляет вам одно место для ваших личных файлов, документов, фотографий и таблиц. Вы не задумываетесь о том, где они физически хранятся, вы просто открываете их и работаете. OneLake делает то же самое, но для данных вашей организации. Он предоставляет каждой команде, каждому проекту и каждой рабочей нагрузке общий пул хранилища. А теперь важное различие. OneLake — это логическое, а не физическое хранилище. Внутри оно может охватывать несколько учетных записей хранения в разных регионах, но для вас это выглядит как один огромный пул. Вам не важно, на каком сервере лежат файлы, вы просто видите свои данные. Каждый сервис-фабрик хранит свои данные здесь. Когда вы создаете LakeHouse, данные хранятся в OneLake. Когда вы создаете хранилище, таблицы располагаются в OneLake. Когда вы запускаете отчет по RBI в режиме DirectLake, он считывает данные напрямую из OneLake. Даже EventHouse, хранилище для аналитики в реальном времени, может выгружать свои данные в OneLake. Все указывает на одно место, а формат данных по умолчанию — Delta Parquet. Это открытый формат, а не привязка к экосистеме Microsoft. Databrix использует его, движки Spark читают его. Такие инструменты, как Pandas и Polars, могут с ним работать. Таким образом, ваши данные не заперты внутри мира Microsoft. Они открыты и мобильны, но настоящее волшебство не в хранении, а в том, как OneLake устраняет необходимость копировать данные. Принцип одной копии. А вот и главная идея, которая отличает OneLake от всего, что было раньше. Он называется «Принцип одной копии», и он прост. Одна физическая копия данных, доступная для множества различных движков. Позвольте показать, что это значит. Допустим, у вас есть таблица с данными о продажах в OneLake. Инженер данных запускает блокнот Spark для ее очистки. Бизнес-аналитик пишет в SQL запрос для ее агрегации, а отчет по RBI считывает ее для дашборда. Все три процесса происходят одновременно. Все трое читают один и тот же файл. Никто ничего не копировал. Раньше такое было невозможно. Вы копировали данные из озера данных в хранилище. Затем копировали их из хранилища в семантическую модель. А потом обновляли отчет. Это три копии одних и тех же данных. Каждая из них требует времени и места для хранения. И если хоть один этап давал сбой, цифры оказывались неверными. Единая копия исключает все это. Данные находятся в OneLake в единственном экземпляре. Движки Spark, SQL и Power BI читают их напрямую. Никакого перемещения. Никакого дублирования. Никаких проблем с синхронизацией. Реальная экономия средств. Меньше затрат на хранение, ведь вы не платите за одни данные пять раз. Меньше ETL, так как не нужно строить конвейеры только для передачи данных. Меньше объектов для обслуживания, так как нет звеньев, которые могут сломаться. И преимущество в актуальности данных огромно. Одна копия – это один источник истины. При обновлении данных все отчеты видят это немедленно. Больше не нужно спрашивать. В отчете данные за прошлую неделю или за эту. Везде всегда одни и те же данные. Возможно, вы думаете, разве это не обычный Azure Data Lake Storage? Не совсем так. ADLS – это сервис PAAS. Вы создаете учетные записи хранения. Вы управляете контейнерами. Вы настраиваете ключи доступа. Вы решаете, какой регион что содержит. Это гибко, но требует работы. One Lake – это сервис SAAS. Вы не создаете учетные записи хранения. Вы не управляете контейнерами. Вы просто пользуетесь этим. Базовая инфраструктура обслуживается за вас. Единая копия хороша для данных внутри фабри. Но как быть с данными, которые лежат в другом месте? Ярлыки. Оставьте данные там, где они лежат. Именно здесь на помощь приходят ярлыки. Ярлык – это виртуальный указатель. Представьте это как символическую ссылку для вашего озера данных. Он позволяет получать доступ к данным вне One Lake, не перемещая и не копируя их. Вот как это работает. Вы создаете ярлык внутри хранилища данных – League House или Warehouse. И этот ярлык указывает на файл или папку в другом месте. Это может быть учетная запись Azure Data Lake Storage, корзина Amazon S3, Google Cloud Storage или рабочая область фабрик. Данные остаются на месте, но из фабрик кажется, что они прямо в One Lake. Приведу реальный сценарий. Ваш отдел продаж годами анализирует данные на AWS. Поэтому все их данные лежат в корзинах S3. Ваш финансовый отдел использует фабрик и Power BI, и им нужно объединить данные о продажах с финансовыми. Раньше вам приходилось экспортировать все из S3, загружать в Azure, создавать конвейер для синхронизации и надеяться, что ничего не сломается. С помощью ярлыков вы создаете ссылку из своего League House прямо на S3 бакет. Данные остаются в AWS, но финансовый отдел может запрашивать их в Power BI так, словно они находятся в One Lake. Никакого экспорта, никакой загрузки, никаких проблем с конвейерами. Ярлыки работают и внутри системы. Если у одной команды есть готовый набор данных в рабочем пространстве, другая команда может создать на него ярлык. Никакого копирования, никакого дублирования. Данные остаются в исходном рабочем пространстве, а все остальные просто ссылаются на них. Есть одно ограничение, о котором нужно знать. Ярлыки не копируют данные, поэтому производительность запросов зависит от скорости исходной системы. Если вы создаете ярлык на S3 бакет на другом конце света, запросы будут медленнее, чем если бы данные находились локально. Для часто используемых данных рассмотрите возможность их зеркалирования. И это подводит нас к следующей теме – зеркалированию. Автоматический импорт данных из баз данных. Ярлыки отлично подходят для внешних файловых хранилищ. Но как быть с вашими базами данных? Тем, на которых работают ваши ERP, CRM и операционные приложения. Здесь на помощь приходит зеркалирование. Зеркалирование – это способ получения данных из баз в OneLake почти в реальном времени без создания конвейеров. Вы указываете фабрик на свою базу данных, и она берет на себя остальное, создавая автоматическую инкрементальную копию данных в формате Delta Parquet внутри OneLake и обновляя ее при изменениях в источнике. Поддерживаются такие источники, как Azure SQL Database, локальный SQL Server, Cosmos DB и другие, и Microsoft со временем добавляет новые. Но самый частый сценарий – это ваша критически важная база данных, на которой работает ERP или бизнес-приложение. Вот как это работает. Вы включаете зеркалирование базы данных, и фабрик считывает поток изменений, вставки, обновления, удаления и реплицирует их в OneLake. Первая синхронизация копирует весь набор данных целиком. После этого процесс становится инкрементальным. Перемещаются только измененные строки. Данные сохраняются в формате Delta Parquet и готовы к запросам любым движком фабрик. А теперь главное отличие от ярлыков. Ярлыки не копируют данные, они лишь указывают на них. Зеркалирование фактически копирует данные, поэтому они физически находятся в OneLake, и скорость запросов высока независимо от быстродействия исходной базы. Минус в том, что вы храните копию, но преимущество – доступ почти в реальном времени без настройки конвейеров, планирования задач и хлопот с обслуживанием. Позвольте привести конкретный пример использования. Ваша компания использует ERP на базе SQL Server, где хранятся все финансовые данные, счета, платежи. Главная книга. Раньше вам пришлось бы создавать ETL-задание, которое запускается каждую ночь, извлекает данные, преобразует их и загружает в хранилище. Такое задание ломается, его нужно чинить, а данные всегда устаревают как минимум на день. С помощью зеркалирования вы настраиваете все один раз, и фабрик непрерывно реплицирует данные в OneLake. Ваши отчеты по RBI считываются напрямую из OneLake и видят данные, которым всего несколько минут, а не часы или дни. При этом конвейер вам не нужен. Теперь у вас в OneLake есть данные из ярлыков, зеркалирования и прямых загрузок. Как же их использовать на практике? OneLake и три хранилища данных. Итак, OneLake – это уровень хранения, место, где находятся все ваши файлы. Но вот в чем нюанс – вы не работаете с OneLake напрямую. Вместо этого вы взаимодействуете с ним через так называемые хранилища данных, интерфейсы, предоставляющие разные способы работы с одними и теми же данными. В фабрик есть три основных хранилища – LakeHouse, Warehouse и EventHouse. Все они хранят данные в одном и том же OneLake, но у каждого своя цель. Начнем с LakeHouse – гибкого хранилища, которое принимает файлы CSV, JSON, изображения, а также таблицы Delta. Используйте его для инженерии данных, машинного обучения или выгрузки сырых данных из систем источников. Это рабочая область, где вы очищаете, преобразуете и подготавливаете данные. Если вы строите медальонную архитектуру с бронзовым, серебряным и золотым слоями, LakeHouse – это то место, где все происходит. Доступ к нему можно получить через блокноты Spark или через SQL endpoint аналитики для запросов только на чтение. Далее идет Warehouse – хранилище структурированных данных. Оно предоставляет полную поддержку TSQL для чтения и записи, позволяя создавать таблицы, представления, процедуры, функции и выполнять запросы Insert, Update, Delete. Оно ощущается как обычная база данных SQL Server, так как создана для тех, кто мыслит категориями SQL. Используйте Warehouse для создания BI-отчетов, сложных агрегаций или миграции существующего хранилища данных. Считайте его золотым уровнем для корпоративной отчетности. И, наконец, Eventhouse – хранилище данных реального времени на базе движка каста, той же технологии, что стоит за Azure Data Explorer. Оно обрабатывает потоковые данные, логи, телеметрию IoT и кликстримы – все, что поступает быстро и требует мгновенного запроса. Вы делаете к нему запросы с помощью KQL – языка запросов каста. А когда вы включаете доступность в OneLake, эти данные событий становятся доступными для Leakhouse и Warehouse в виде таблиц Delta. Итак, вот что вам нужно понять. Все три хранят свои данные в одном и том же OneLake. Таблица, созданная в Leakhouse, может быть считана запросом Warehouse. К таблице в Warehouse можно получить доступ из записной книжки Spark. Данные, загруженные в Eventhouse, могут быть представлены как таблицы Delta для Power BI. Это не отдельные базы данных, это разные представления одного и того же озера данных. Многие люди понимают это неправильно. Они думают, что Leakhouse, Warehouse и Eventhouse – это конкурирующие продукты, но это не так. На самом деле вы используете все три, потому что каждый из них решает свою задачу. Leakhouse для инженерии данных, Warehouse для BI, Eventhouse для работы в реальном времени, и все они используют одно хранилище. OneLake отвечает за хранение, а хранилище данных – за доступ. Но кто и что может видеть? Безопасность и управление в OneLake. Поскольку все ваши данные находятся в одном месте, безопасность становится проще. Вы управляете доступом в одном месте, а не в десяти разных системах. Больше не нужно настраивать разрешение в CRM, затем снова в Warehouse, а потом в Power BI. OneLake предоставляет вам единую модель безопасности для всего. На верхнем уровне есть роли рабочей области – администратор, участник, автор, читатель. Они контролируют, кто может работать в данной рабочей области. Если пользователь является читателем, он может видеть элементы, но не изменять их. Если он администратор, он контролирует все. Достаточно просто, но можно пойти дальше. Роли безопасности OneLake позволяют контролировать доступ на уровне папок, таблиц, столбцов и даже строк. Например, безопасность на уровне столбцов означает, что вы можете скрыть информацию о зарплате от всех, кроме отдела кадров. Безопасность на уровне строк означает, что менеджер по продажам видит данные только своего региона. И это работает одинаково во всех хранилищах данных, потому что все они находятся в одном OneLake. Также есть каталог OneLake – централизованное представление, где можно видеть все данные во всех рабочих областях. Вы можете находить сертифицированные наборы данных, проверять, кто чем владеет и управлять политиками в одном месте. Он интегрируется с Microsoft Perview для классификации, меток конфиденциальности и предотвращения утечки данных. Поэтому, если вам нужно пометить определенные данные, как конфиденциальные или строго ограниченные, вы можете сделать это на уровне озера, и это применится везде. А еще есть диагностика OneLake, которая фиксирует, кто, к чему и когда обращался. Это полезно для аудитов, проверок на соответствие требованиям и ответов на вопрос, кто обращался к этим данным на прошлой неделе. Он регистрирует каждую операцию чтения и записи и сохраняет эти журналы как JSON-файлы внутри League House. Их можно анализировать с помощью Spark, SQL или Power BI. Суть в следующем. Единая модель безопасности для всех данных вместо настройки отдельных правил для каждого инструмента. Это колоссальное упрощение для любой организации. Практические выводы. Что это значит для вас? Итак, что же это означает, если вы начинаете свой путь с фабрик сегодня? Давайте разберемся. Если вы строите новую платформу данных, OneLake избавляет от необходимости проектировать сложное перемещение данных. Вам не нужно планировать, как данные перетекают из хранилища в озеро, а затем в семантическую модель. Просто поместите их в OneLake, и любой инструмент будет считывать их оттуда. Один OneLake, одна копия. Вот и вся архитектура. Если вы переходите со старой системы, ярлыки и зеркалирование позволяют оставить данные на месте, постепенно перенося рабочие нагрузки. Масштабная миграция не требуется. Создайте ярлык на существующее озеро данных, зеркалируйте базу данных SQL-сервер и начинайте использовать фабрик, пока старые системы продолжают работать. Вы движетесь в своем собственном темпе. Вот в чем заключается изменение мышления. Перестаньте думать о хранилищах для каждого проекта отдельно. Хватит создавать новое озеро данных для каждой новой инициативы. Начните думать об одном общем озере, к которому обращаются все проекты. Данные отдела продаж, данные финансового отдела, данные инженерной группы. Все они находятся в одном месте. Просто каждый видит свою часть. Для пользователей Power BI отчеты считываются напрямую из OneLake. Никакого отдельного импорта, никаких дублирующихся семантических моделей. Данные актуальны, потому что это те же данные, с которыми работают инженеры. Для инженеров данных это означает меньше конвейеров для создания, обслуживания и отладки. Вы загружаете данные один раз, все остальные просто ссылаются на них. Итог таков, OneLake это не просто очередное озеро данных. Это фундамент, который отличает фабрик от всего, что было раньше. Это причина, по которой можно перестать копировать данные и начать им доверять. Итак, вот и все. OneLake это единое озеро данных вашей организации, построенное на принципе одной копии. Одна физическая копия данных, доступная любому инструменту, любой команде, любой нагрузке. Больше никаких дубликатов и путаницы в том, какая версия верна. Ваша задача проста. Начните с ярлыка из внешнего источника или зеркалируйте базу данных. Посмотрите, как становится проще, когда не нужно создавать конвейеры только ради перемещения данных. Большинство организаций не совершат этот переход быстро. Будьте тем, кто это сделает. Если этот выпуск помог вам понять OneLake, подпишитесь на Microsoft NoLedge на Гетас, чтобы получать больше материалов о фабрик простыми словами. И поделитесь этим видео с тем, кто все еще управляет пятью отдельными озерами данных. Они скажут вам спасибо позже.