Microsoft Purview Data Map expliqué simplement : à quoi il sert et sa place dans Purview
Par Mirko Peters ·
Ce qu'est le Microsoft Purview Data Map, comment l'analyse le remplit, en quoi il diffère du Unified Catalog, comment les unités de capacité sont facturées, et l'avis de retrait que Microsoft affiche désormais sur ses pages de gouvernance des données.
Traduit automatiquement par IA à partir de l'article original. Lire l'original en anglais
Le Microsoft Purview Data Map est un inventaire de métadonnées. Il analyse vos sources de données, enregistre ce qui existe et ce qu'elles contiennent, et maintient cet enregistrement à jour afin que les utilisateurs puissent trouver et gouverner les données. Il ne copie ni n'ouvre vos données pour les utilisateurs. Avant de commencer, une mise en garde : l'aperçu de la gouvernance des données de Microsoft's comporte désormais un avis de retrait, abordé vers la fin de cet article.
Points clés
- Le Data Map est la couche de métadonnées de la gouvernance des données Purview. Il stocke des métadonnées sur les sources de données, et non les données elles-mêmes.
- Les analyses se connectent à une source, capturent les métadonnées techniques, extraient les schémas et appliquent les classifications. L'ingestion charge ensuite le résultat dans le Data Map.
- Le Unified Catalog se superpose au Data Map. Les gestionnaires de données y organisent les produits de données, les termes du glossaire et les domaines.
- La facturation repose sur les unités de capacité : chaque unité couvre 25 opérations par seconde et 10 Go de métadonnées. Les comptes démarrent à 1 et évoluent automatiquement jusqu'à 10.
- L'aperçu de la gouvernance des données de Microsoft's indique que le Unified Catalog et la gouvernance des données classique sont en cours de retrait, sans création de nouveaux comptes et avec un mode maintenance jusqu'au 12 novembre 2027.
Où se situe le Data Map dans Purview
Microsoft Learn décrit Microsoft Purview comme un ensemble de solutions permettant de gouverner, de protéger et de gérer les données, accessibles via le portail Microsoft Purview. Elles sont regroupées en trois domaines :
- Sécurité des données, par exemple Data Loss Prevention, Information Protection et Insider Risk Management.
- Gouvernance des données, qui regroupe le Data Map et le Unified Catalog.
- Conformité des données, par exemple Audit, eDiscovery, Compliance Manager et Records Management.
Les étiquettes de confidentialité, les classificateurs et les connecteurs sont des fonctionnalités partagées, utilisées par plusieurs de ces solutions. Le Data Map relève du domaine de la gouvernance : c'est donc une tâche différente de l'application d'étiquettes aux fichiers dans Microsoft 365.
Ce que fait le Data Map
Microsoft Learn présente le Data Map comme la base de la découverte et de la gouvernance des données. Il capture les métadonnées des données présentes dans les systèmes analytiques, les applications SaaS et les systèmes opérationnels, dans des configurations hybrides, sur site et multicloud. L'analyse et la classification intégrées le maintiennent à jour.
Les métadonnées se répartissent en quelques catégories : les métadonnées techniques, comme les schémas, les types de données et les colonnes ; les métadonnées sémantiques, comme les classifications et les mappages de collections ; les métadonnées opérationnelles, comme les statuts d’exécution de la traçabilité des données ; et les métadonnées métier, comme les descriptions et les termes du glossaire.
Une règle compte particulièrement pour les revues de sécurité. Microsoft indique que toutes les données du Data Map et du Unified Catalog sont des métadonnées. Aucune autorisation de ces deux solutions ne donne accès aux données elles-mêmes.
Data Map ou Unified Catalog
Ces deux produits sont souvent confondus. Les recommandations de planification de Microsoft les distinguent ainsi :
- Le Data Map est la couche technique. Il stocke les métadonnées des ressources collectées par l’analyse des sources.
- Le Unified Catalog est la couche orientée métier. C’est là que les intendants de données organisent les données et que les consommateurs trouvent les produits de données.
Dans le Unified Catalog, les principaux objets sont les domaines de gouvernance (par exemple Marketing ou Finance), les produits de données, les termes du glossaire, les éléments de données critiques, les OKR et les scores de qualité des données. Le Data Map alimente le Unified Catalog. L’enregistrement et l’analyse des sources se font dans le Data Map, tandis que les produits de données sont créés dans le Unified Catalog.
Comment l’analyse alimente le Data Map
Une analyse se connecte à une source de données et capture les métadonnées techniques, comme les noms, la taille des fichiers et les colonnes. Pour les sources structurées, elle extrait le schéma et applique les classifications. Si le Data Map est connecté au portail Microsoft Purview, elle applique aussi les étiquettes de confidentialité. L’ingestion analyse ensuite la sortie de l’analyse, applique les modèles de jeux de ressources, ajoute la traçabilité disponible et charge le Data Map. Les ressources ne peuvent être organisées qu’une fois l’ingestion terminée.
Chaque analyse a un niveau :
| Niveau | Ce qui est extrait | |---|---| | L1 | Métadonnées de base, comme le nom de fichier, la taille et le nom complet qualifié | | L2 | Schéma des types de fichiers structurés et des tables de bases de données | | L3 | Schéma lorsque c’est applicable, plus échantillonnage et classification |
La détection automatique est la valeur par défaut et applique le niveau le plus élevé pris en charge par la source. Pour Azure SQL Database, il s’agit du niveau 3. Les niveaux d’analyse personnalisés ne sont disponibles que sur le runtime d’intégration Azure et sur le runtime d’intégration Managed Virtual Network v2.
Un jeu de règles d’analyse définit les types de fichiers et les classifications recherchés par une analyse. De nombreuses sources disposent de jeux de règles système, et il est possible d’en créer de personnalisés. Les analyses peuvent être exécutées une seule fois ou selon une planification quotidienne, hebdomadaire ou mensuelle. Microsoft recommande une fréquence quotidienne ou hebdomadaire pour les sources en cours de développement actif, et mensuelle pour les sources qui changent rarement.
Pour les identifiants, Microsoft recommande d’utiliser une identité managée lorsque c’est possible, car cela évite de stocker des identifiants pour chaque source. Purview ne stocke pas directement de mots de passe ni de secrets.
La suppression est détectée en comparant la dernière analyse à l’analyse actuelle. Plusieurs analyses réussies peuvent donc être nécessaires avant que les ressources supprimées soient prises en compte.
Unités de capacité et facturation
Le Data Map est facturé en unités de capacité (UC). Chaque UC représente un débit d’opérations et un stockage de métadonnées :
- 25 opérations par seconde par UC
- 10 Go de stockage de métadonnées par UC
- Chaque compte démarre à 1 UC et évolue automatiquement jusqu’à 10 UC par défaut
- Il n’existe pas de limite par défaut pour le stockage des métadonnées
Les opérations incluent la création d’une ressource, l’ajout d’une relation, la modification de métadonnées métier et l’exécution d’une recherche par mot-clé. La facturation se fait à l’heure, sur la base du nombre maximal d’UC nécessaire durant cette heure, avec un minimum de 1. Le stockage peut à lui seul faire grimper les coûts : avec 25 opérations par seconde et 15 Go, vous êtes facturé pour 2 UC. L’exemple sur six heures de Microsoft totalise 22 heures-UC.
Pour suivre l’utilisation, ouvrez Comptes Microsoft Purview dans le portail Azure, sélectionnez le compte et consultez Surveillance sur la page Vue d’ensemble. Pour plus de détails, accédez à Surveillance > Métriques et choisissez Data Map Capacity Units ou Data Map Storage Size. Des alertes peuvent être créées depuis la même page.
Les conseils de Microsoft pour réduire les coûts sont pragmatiques : utilisez des analyses incrémentielles après la première analyse complète, limitez le périmètre des analyses, échelonnez les planifications, réduisez la fréquence si la fraîcheur des données le permet, désactivez l’extraction de la traçabilité dont vous n’avez pas besoin, et nettoyez l’historique de traçabilité.
Un ordre logique pour bien démarrer
La page de démarrage de Microsoft répertorie ces étapes de configuration de base pour la gouvernance des données, après les prérequis d’une instance Purview Enterprise et des sources de données enregistrées et analysées :
- Attribuer le rôle Administrateur de gouvernance des données.
- Créer les domaines de gouvernance : attribuer le rôle de créateur de domaine de gouvernance, créer au moins un domaine et attribuer au moins un propriétaire de domaine.
- Enregistrer et analyser les sources de données dans le Data Map.
- Créer les produits de données : attribuer des propriétaires de produits de données et créer au moins un produit de données.
- Accorder l’accès de lecteur du catalogue dans les domaines de gouvernance afin que les utilisateurs puissent explorer les produits de données.
La page de planification propose un ordre similaire et mentionne également la création d’une collection dans le Data Map ainsi que l’ajout d’un administrateur de source de données avant la première analyse. Elle conseille de commencer par les parties prenantes les plus concernées par la gouvernance des données, comme les équipes de business intelligence ou de data lake, plutôt que par l’ensemble de l’organisation.
Avis de retrait et ce que les sources ne tranchent pas
La présentation générale de la gouvernance des données sur Microsoft Learn commence par ce message : « Unified Catalog et les capacités classiques de gouvernance des données de Microsoft Purview, anciennement Azure Purview, sont en cours de retrait, et Microsoft consolide ses capacités de gouvernance des données dans Microsoft Fabric. » Elle ajoute que de nouveaux comptes ne peuvent plus être créés et que les capacités existantes restent en mode maintenance jusqu’au 12 novembre 2027.
Les sources ne sont pas cohérentes sur ce point. La page de capacité du Data Map que j’ai consultée décrit toujours la création d’un compte dans le portail Azure et ne comporte aucun avis de retrait, tout comme la page de planification. L’annonce complète vers laquelle renvoie la présentation générale n’a pas pu être lue pour cet article. Avant de bâtir quoi que ce soit sur le Data Map, lisez cette annonce, vérifiez la configuration de votre locataire et demandez à Microsoft ce que le parcours Fabric implique pour vos sources.
Articles connexes
Sources
- Microsoft Learn : Microsoft Purview Data Map
- Microsoft Learn : En savoir plus sur Microsoft Purview
- Microsoft Learn : Présentation de la gouvernance des données
- Microsoft Learn : Plan de gouvernance des données
- Microsoft Learn : Analyses et ingestion dans le Data Map
- Microsoft Learn : Premiers pas avec la gouvernance des données
- Microsoft Learn : Unified Catalog
FAQ
Qu'est-ce que le Microsoft Purview Data Map ?
Selon Microsoft Learn, le Data Map constitue la base de la découverte et de la gouvernance des données dans Microsoft Purview. Il capture les métadonnées des données présentes dans les systèmes analytiques, SaaS et opérationnels, dans des environnements hybrides, sur site et multicloud. L'analyse et la classification intégrées le maintiennent à jour.
Quelle est la différence entre le Data Map et le Unified Catalog ?
Microsoft Learn décrit le Data Map comme la couche technique qui stocke les métadonnées collectées par l'analyse des sources de données. Le Unified Catalog est la couche orientée métier, où les gestionnaires de données organisent les produits de données et où les consommateurs les trouvent. Les deux ne contiennent que des métadonnées, et aucun des deux n'accorde l'accès aux données sous-jacentes.
Comment le Purview Data Map est-il facturé ?
Microsoft Learn indique que le Data Map est facturé à l'heure, sur la base du nombre maximal d'unités de capacité nécessaires au cours de cette heure, avec un minimum de 1. Chaque unité de capacité comprend 25 opérations par seconde et 10 Go de stockage de métadonnées. Si le stockage dépasse l'unité en cours, l'unité suivante est facturée, même si le débit n'est pas utilisé.
Le Data Map est-il en cours de retrait ?
Un avis figurant sur la page d'aperçu de la gouvernance des données de Microsoft Learn indique que le Unified Catalog et les fonctionnalités classiques de gouvernance des données de Purview, anciennement Azure Purview, sont en cours de retrait, Microsoft regroupant la gouvernance des données dans Microsoft Fabric. Il précise que la création de nouveaux comptes n'est plus possible et que les fonctionnalités existantes restent en mode maintenance jusqu'au 12 novembre 2027. La page de capacité du Data Map que j'ai consultée ne comporte aucun avis de ce type. Vérifiez donc l'annonce liée avant de planifier un déploiement.
Le Data Map donne-t-il accès à mes fichiers et à mes tables ?
Non. Microsoft Learn précise que toutes les données du Data Map et du Unified Catalog sont des métadonnées, et non les données sous-jacentes, et qu'aucun des rôles ni aucune des autorisations de ces deux solutions n'offre d'accès aux données sous-jacentes.