Microsoft Purview Data Map простыми словами: что это такое и как он вписывается в Purview
By Mirko Peters ·
Что такое Microsoft Purview Data Map, как сканирование его наполняет, чем он отличается от Unified Catalog, как тарифицируются единицы емкости и какое уведомление о выводе из эксплуатации Microsoft теперь показывает на своих страницах управления данными.
Automatically translated with AI from the original post. Read the English original
Microsoft Purview Data Map — это инвентарь метаданных. Он сканирует ваши источники данных, фиксирует, что существует и что внутри, и поддерживает эту информацию в актуальном состоянии, чтобы люди могли находить данные и управлять ими. Он не копирует данные и не открывает их пользователям. Одно предупреждение перед началом работы: на обзорной странице Microsoft по управлению данными теперь есть уведомление о выводе из эксплуатации, о котором речь пойдет ближе к концу статьи.
Ключевые выводы
- Data Map — это слой метаданных управления данными в Purview. Он хранит метаданные об источниках данных, а не сами данные.
- Сканирование подключается к источнику, собирает технические метаданные, извлекает схемы и применяет классификации. Затем прием загружает результат в Data Map.
- Unified Catalog находится поверх Data Map. Здесь владельцы данных курируют программные продукты данных, термины глоссария и домены.
- Тарификация основана на единицах емкости: каждая единица покрывает 25 операций в секунду и 10 ГБ метаданных. Учетные записи начинаются с 1 и автоматически масштабируются до 10.
- На обзорной странице Microsoft по управлению данными сказано, что Unified Catalog и классическое управление данными выводятся из эксплуатации: новые учетные записи не создаются, а режим обслуживания действует до 12 ноября 2027 года.
Место Data Map в Purview
Microsoft Learn описывает Microsoft Purview как набор решений для управления, защиты и администрирования данных, доступных через портал Microsoft Purview. Они делятся на три области:
- Безопасность данных, например Data Loss Prevention, Information Protection и Insider Risk Management.
- Управление данными, куда входят Data Map и Unified Catalog.
- Соответствие требованиям к данным, например Audit, eDiscovery, Compliance Manager и Records Management.
Метки конфиденциальности, классификаторы и коннекторы — это общие возможности, которые используются в нескольких из этих областей. Data Map относится к области управления, поэтому его задача отличается от маркировки файлов в Microsoft 365.
Что делает Data Map
Microsoft Learn называет Data Map основой для обнаружения данных и управления ими. Он собирает метаданные о данных в аналитических системах, SaaS-приложениях и операционных системах в гибридных, локальных и мультиоблачных конфигурациях. Встроенные функции сканирования и классификации поддерживают его в актуальном состоянии.
Метаданные делятся на несколько групп: технические метаданные, такие как схемы, типы данных и столбцы; семантические метаданные, такие как классификации и сопоставления коллекций; операционные метаданные, такие как статусы запусков трассировки происхождения данных (lineage); и бизнес-метаданные, такие как описания и термины глоссария.
Одно правило важно для проверок безопасности. Microsoft заявляет, что все данные в Data Map и Unified Catalog являются метаданными. Ни одно из разрешений в этих решениях не предоставляет доступ к самим данным.
Data Map и Unified Catalog: в чём разница
Эти два продукта часто путают. Руководство Microsoft по планированию разделяет их следующим образом:
- Data Map — это технический уровень. Он хранит метаданные о активах, собранных при сканировании источников.
- Unified Catalog — это уровень, ориентированный на бизнес. Владельцы данных (data stewards) курируют данные здесь, а потребители находят здесь продукты данных.
В Unified Catalog основные объекты: домены управления (например, Marketing или Finance), продукты данных, термины глоссария, критические элементы данных, OKR и оценки качества данных. Data Map питает каталог. Регистрация и сканирование источников выполняются в Data Map, а продукты данных создаются в Unified Catalog.
Как сканирование заполняет Data Map
Сканирование подключается к источнику данных и собирает технические метаданные, такие как имена, размер файлов и столбцы. Для структурированных источников оно извлекает схему и применяет классификации. Если Data Map подключена к порталу Microsoft Purview, также применяются метки конфиденциальности. Затем загрузка (ingestion) анализирует результаты сканирования, применяет шаблоны наборов ресурсов, добавляет доступные данные о происхождении (lineage) и загружает Data Map. Активы можно курировать только после завершения загрузки.
У каждого сканирования есть уровень:
| Уровень | Что извлекается | |---|---| | L1 | Базовые метаданные, такие как имя файла, размер и полное квалифицированное имя | | L2 | Схема для структурированных типов файлов и таблиц баз данных | | L3 | Схема, где применимо, а также выборка и классификация |
Автоопределение (Auto detect) используется по умолчанию и применяет наивысший уровень, который поддерживает источник. Для Azure SQL Database это уровень 3. Пользовательские уровни сканирования доступны только в среде выполнения Azure integration runtime и в Managed Virtual Network integration runtime v2.
Набор правил сканирования (scan rule set) определяет, какие типы файлов и классификации ищет сканирование. Для многих источников есть системные наборы правил, но можно создавать и собственные. Сканирования могут выполняться однократно или по расписанию: ежедневно, еженедельно или ежемесячно. Microsoft рекомендует ежедневные или еженедельные сканирования для источников, которые активно разрабатываются, и ежемесячные — для источников, которые меняются редко.
Для учётных данных Microsoft рекомендует по возможности использовать управляемое удостоверение (managed identity), так как это избавляет от необходимости хранить учётные данные для каждого источника. Сам Purview не хранит пароли и секреты напрямую.
Удаление обнаруживается сравнением последнего сканирования с текущим, поэтому для того, чтобы удалённые активы были учтены, может понадобиться несколько успешных сканирований.
Единицы емкости и выставление счетов
Data Map тарифицируется в единицах емкости (capacity units, CU). Каждая CU обеспечивает пропускную способность операций и хранение метаданных:
- 25 операций в секунду на одну CU
- 10 ГБ хранилища метаданных на одну CU
- Каждый аккаунт начинается с 1 CU и по умолчанию автоматически масштабируется до 10 CU
- Ограничения на объём хранилища метаданных по умолчанию нет
К операциям относятся создание актива, добавление связи, редактирование бизнес-метаданных и выполнение поиска по ключевым словам. Оплата взимается почасово, исходя из максимального количества CU, необходимого в данном часу, с минимумом 1. Хранилище может влиять на стоимость самостоятельно: при 25 операциях в секунду и 15 ГБ оплачивается 2 CU. Шестичасовой пример Microsoft в сумме даёт 22 часа-единицы емкости.
Чтобы отслеживать использование, откройте Microsoft Purview accounts на портале Azure, выберите аккаунт и посмотрите раздел Monitoring на странице Overview. Для более подробной информации перейдите в Monitoring > Metrics и выберите Data Map Capacity Units или Data Map Storage Size. Оповещения можно создать на той же странице.
Советы Microsoft по снижению затрат практичны: используйте инкрементальные сканирования после первого полного сканирования, ограничивайте область сканирования, распределяйте расписания во времени, снижайте частоту, если это допускает актуальность данных, отключайте извлечение lineage, которое вам не нужно, и очищайте исторические данные lineage.
Разумный порядок действий для начала работы
На странице Microsoft «начало работы» с управлением данными перечислены следующие базовые шаги настройки, которые выполняются после предварительных требований: экземпляр Purview Enterprise и зарегистрированные, просканированные источники данных.
- Назначьте роль Data Governance Administrator.
- Формируйте домены управления данными: назначьте роль создателя домена управления данными, создайте как минимум один домен и назначьте как минимум одного владельца домена.
- Регистрируйте источники данных в Data Map и сканируйте их.
- Формируйте продукты данных: назначьте владельцев продуктов данных и создайте как минимум один продукт данных.
- Предоставьте доступ читателя каталога в доменах управления данными, чтобы пользователи могли изучать продукты данных.
На странице планирования описан схожий порядок. Там также упоминается создание коллекции в Data Map и назначение администратора источника данных до первого сканирования. Начинать предлагается с заинтересованных сторон, для которых управление данными важнее всего, например с команд бизнес-аналитики или команд, работающих с data lake, а не со всей организацией.
Уведомление о выводе из эксплуатации и то, что не проясняют источники
Обзор управления данными на Microsoft Learn начинается с такого сообщения: «Unified Catalog и классические возможности управления данными Microsoft Purview, ранее известные как Azure Purview, выводятся из эксплуатации, а Microsoft консолидирует свои возможности управления данными в Microsoft Fabric». Далее говорится, что создавать новые учётные записи больше нельзя, а существующие возможности остаются в режиме обслуживания до 12 ноября 2027 года.
Источники расходятся в тоне. Страница о мощностях Data Map, которую я читал, по-прежнему описывает создание учётной записи через портал Azure и не содержит уведомления о выводе из эксплуатации. На странице планирования такого уведомления тоже нет. Полное объявление, на которое ссылается обзор, прочитать для этой статьи не удалось. Прежде чем строить решения на Data Map, прочитайте это объявление, проверьте настройку вашего клиента и уточните у Microsoft, что путь через Fabric означает для ваших источников.
Связанное
Источники
- Microsoft Learn: Microsoft Purview Data Map
- Microsoft Learn: Что такое Microsoft Purview
- Microsoft Learn: Обзор управления данными
- Microsoft Learn: План управления данными
- Microsoft Learn: Сканирование и загрузка данных в Data Map
- Microsoft Learn: Начало работы с управлением данными
- Microsoft Learn: Unified Catalog
FAQ
Что такое Microsoft Purview Data Map?
По данным Microsoft Learn, Data Map является основой для обнаружения данных и управления ими в Microsoft Purview. Он собирает метаданные о данных в аналитических, SaaS- и операционных системах в гибридных, локальных и мультиоблачных средах. Встроенные функции сканирования и классификации поддерживают его в актуальном состоянии.
В чем разница между Data Map и Unified Catalog?
Microsoft Learn описывает Data Map как техническим слой, который хранит метаданные, собранные при сканировании источников данных. Unified Catalog — это бизнес-слой, в котором владельцы данных курируют данные, а потребители находят программные продукты данных. Оба решения хранят только метаданные, и ни одно из них не предоставляет доступ к самим данным.
Как тарифицируется Purview Data Map?
Microsoft Learn сообщает, что Data Map тарифицируется почасово, исходя из наибольшего количества единиц емкости, необходимых в этом часу, при минимуме 1. Каждая единица емкости включает 25 операций в секунду и 10 ГБ хранилища метаданных. Если объем хранимых данных превышает текущую единицу, следующая единица тарифицируется даже тогда, когда пропускная способность не используется.
Выводится ли Purview Data Map из эксплуатации?
Уведомление на обзорной странице Microsoft Learn по управлению данными сообщает, что Unified Catalog и классические возможности управления данными Purview, ранее называвшиеся Azure Purview, выводятся из эксплуатации, так как Microsoft консолидирует управление данными в Microsoft Fabric. Там также указано, что создание новых учетных записей больше невозможно, а существующие возможности остаются в режиме обслуживания до 12 ноября 2027 года. На странице емкости Data Map, которую я читал, такого уведомления нет, поэтому перед планированием развертывания проверьте связанное объявление.
Дает ли Data Map пользователям доступ к моим файлам и таблицам?
Нет. Microsoft Learn указывает, что все данные в Data Map и Unified Catalog являются метаданными, а не самими данными, и что никакие роли или разрешения в этих решениях не дают доступа к базовым данным.