Microsoft Purview Data Map をわかりやすく解説: 役割と Purview での位置づけ
By Mirko Peters ·
Microsoft Purview Data Map の概要、スキャンによるデータ登録の仕組み、Unified Catalog との違い、キャパシティ ユニットの課金方法、そして Microsoft がデータ ガバナンス関連ページに掲載している提供終了のお知らせについて説明します。
Automatically translated with AI from the original post. Read the English original
Microsoft Purview Data Map はメタデータのインベントリです。データ ソースをスキャンして、どのようなデータが存在し、何が含まれているかを記録します。その記録を最新の状態に保つことで、ユーザーはデータを見つけ、ガバナンスを適用できるようになります。データをコピーしたり、ユーザーに開いて見せたりすることはありません。始める前に注意点があります。Microsoft のデータ ガバナンスの概要ページには提供終了のお知らせが掲載されており、この記事の終盤で取り上げます。
重要なポイント
- Data Map は Purview データ ガバナンスのメタデータ レイヤーです。データそのものではなく、データ ソースに関するメタデータを格納します。
- スキャンはソースに接続し、技術的なメタデータを取得して、スキーマを抽出し、分類を適用します。その後、取り込み処理によって結果が Data Map に読み込まれます。
- Unified Catalog は Data Map の上に位置します。管理者はここでデータ プロダクト、用語集の用語、ドメインを整理します。
- 課金はキャパシティ ユニット単位で行われます。1 ユニットは毎秒 25 件の操作と 10 GB のメタデータをカバーします。アカウントは 1 ユニットから始まり、最大 10 ユニットまで自動スケールします。
- Microsoft のデータ ガバナンスの概要では、Unified Catalog と従来のデータ ガバナンスが提供終了となる予定です。新規アカウントは作成できず、2027 年 11 月 12 日までメンテナンス モードで提供されます。
Purview における Data Map の位置づけ
Microsoft Learn では、Microsoft Purview を、Microsoft Purview ポータルから提供される、データのガバナンス、保護、管理のためのソリューション群として説明しています。これらは次の 3 つの領域に分類されます。
- データ セキュリティ: 例として Data Loss Prevention、Information Protection、Insider Risk Management があります。
- データ ガバナンス: Data Map と Unified Catalog が含まれます。
- データ コンプライアンス: 例として Audit、eDiscovery、Compliance Manager、Records Management があります。
秘密度ラベル、分類子、コネクタは、これらの複数の領域で使われる共通機能です。Data Map はガバナンス領域に属するため、Microsoft 365 でファイルにラベルを付ける作業とは役割が異なります。
Data Map の役割
Microsoft Learn では、Data Map をデータの検出とデータ ガバナンスの基盤と位置づけています。ハイブリッド、オンプレミス、マルチクラウドの構成にまたがる分析システム、SaaS アプリケーション、業務システムのデータに関するメタデータを取得します。組み込みのスキャンと分類機能によって、その内容は最新の状態に保たれます。
メタデータは大きく4つのグループに分けられます。スキーマ、データ型、列などの技術メタデータ、分類やコレクションへのマッピングなどのセマンティック メタデータ、リネージの実行ステータスなどの運用メタデータ、説明や用語集の用語などのビジネス メタデータです。
セキュリティ レビューで重要になるルールが1つあります。Microsoft によれば、Data Map と統合カタログにあるデータはすべてメタデータです。どちらのソリューションのアクセス許可も、データそのものへのアクセスは提供しません。
Data Map と統合カタログの違い
この2つの製品はよく混同されます。Microsoft の計画ガイダンスでは次のように区別されています。
- Data Map は技術的なレイヤーです。スキャンによって収集したソースのアセットに関するメタデータを格納します。
- 統合カタログ はビジネス向けのレイヤーです。データ スチュワードがここでデータを管理し、データ コンシューマーがデータ製品を検索します。
統合カタログの主なオブジェクトは、ガバナンス ドメイン(たとえばマーケティングや財務)、データ製品、用語集の用語、重要なデータ要素、OKR、データ品質スコアです。Data Map はこれにデータを供給します。ソースの登録とスキャンは Data Map で行い、データ製品は統合カタログで作成します。
スキャンによって Data Map にデータが格納される仕組み
スキャンはデータ ソースに接続し、名前、ファイル サイズ、列などの技術メタデータを取得します。構造化ソースの場合は、スキーマを抽出して分類を適用します。Data Map が Microsoft Purview ポータルに接続されていれば、秘密度ラベルも適用されます。その後、取り込みによってスキャンの出力が分析され、リソース セット パターンが適用され、利用可能なリネージが追加されてから、Data Map に読み込まれます。アセットをキュレーションできるのは、取り込みが完了した後です。
各スキャンにはレベルがあります。
| レベル | 抽出する内容 | |---|---| | L1 | ファイル名、サイズ、完全修飾名などの基本メタデータ | | L2 | 構造化ファイル形式およびデータベース テーブルのスキーマ | | L3 | 該当する場合はスキーマに加え、サンプリングと分類 |
自動検出がデフォルトで、そのソースがサポートする最も高いレベルを適用します。Azure SQL Database の場合はレベル 3 です。カスタム スキャン レベルは、Azure 統合ランタイムと Managed Virtual Network 統合ランタイム v2 でのみ利用できます。
スキャン ルール セット は、スキャンが検索するファイル形式と分類を定義します。多くのソースにはシステム ルール セットが用意されていますが、カスタムのルール セットを作成することもできます。スキャンは1回だけ実行することも、毎日、毎週、毎月のスケジュールで実行することもできます。Microsoft は、開発が活発なソースには毎日または毎週、変更がまれなソースには毎月の実行を推奨しています。
資格情報については、可能な場合はマネージド ID を使用することを Microsoft が推奨しています。ソースごとに資格情報を保存する必要がなくなるためです。Purview 自体がパスワードやシークレットを直接保存することはありません。
削除は、前回のスキャンと現在のスキャンを比較して検出されます。そのため、削除されたアセットが反映されるまでには、成功したスキャンを複数回実行する必要がある場合があります。
キャパシティ ユニットと課金
Data Map は、キャパシティ ユニット(CU)単位で課金されます。1 CU は、操作のスループットとメタデータ ストレージを表します。
- CU あたり毎秒 25 件の操作
- CU あたり 10 GB のメタデータ ストレージ
- すべてのアカウントは 1 CU から始まり、既定では最大 10 CU まで自動スケールします。
- メタデータ ストレージに既定の上限はありません。
操作には、アセットの作成、リレーションシップの追加、ビジネス メタデータの編集、キーワード検索の実行などが含まれます。課金は1時間単位で、その時間に必要となった最大の CU 数に基づき、最低 1 CU です。ストレージだけでもコストが発生する場合があります。毎秒 25 件の操作で 15 GB の場合、2 CU 分の課金となります。Microsoft の6時間の例では、合計 22 キャパシティ ユニット時間になります。
使用状況を確認するには、Azure ポータルで Microsoft Purview アカウント を開き、アカウントを選択して、概要 ページの 監視 を確認します。詳細を確認するには、監視 > メトリック に移動し、Data Map Capacity Units または Data Map Storage Size を選択します。同じページからアラートを作成することもできます。
Microsoft のコスト削減のヒントは実践的です。最初の完全スキャンの後は増分スキャンを使用する、スキャンの対象範囲を絞る、スケジュールをずらす、データの鮮度が問題なければ頻度を下げる、不要なリネージ抽出をオフにする、過去のリネージを整理する、といったものです。
最初に進める適切な順序
データ ガバナンスの基本的なセットアップ手順として、Microsoft の「はじめに」ページには次の内容が記載されています。前提条件は、Purview Enterprise インスタンスの用意と、データ ソースの登録およびスキャンです。
- データ ガバナンス管理者ロールを割り当てます。
- ガバナンスドメインを構築します。ガバナンスドメインの作成者ロールを割り当て、少なくとも1つのドメインを作成し、少なくとも1人のドメイン所有者を割り当てます。
- データマップでデータソースを登録し、スキャンします。
- データプロダクトを構築します。データプロダクト所有者を割り当て、少なくとも1つのデータプロダクトを作成します。
- ユーザーがデータプロダクトを探索できるよう、ガバナンスドメインでカタログ閲覧者のアクセス許可を付与します。
計画ページも同様の順序を示しており、最初のスキャンの前にデータマップでコレクションを作成し、データソース管理者を追加することも挙げています。また、組織全体ではなく、ビジネスインテリジェンスやデータレイクのチームなど、データガバナンスに最も関心の高い関係者から始めることを提案しています。
廃止に関する通知と、ソースでは解決されていない点
Microsoft Learn のデータガバナンスの概要は、次のメッセージで始まります。「Unified Catalog と、以前は Azure Purview と呼ばれていた従来の Microsoft Purview データガバナンス機能は廃止が進められており、Microsoft はデータガバナンス機能を Microsoft Fabric に統合しています。」さらに、新しいアカウントはもう作成できず、既存の機能は 2027 年 11 月 12 日までメンテナンスモードで提供されると記載されています。
各ソースの論調は一致していません。私が参照したデータマップの容量に関するページでは、Azure ポータルでのアカウント作成について今も説明されており、廃止に関する通知はありません。計画ページにも同様に通知は見当たりません。概要ページがリンクしている完全な発表文は、この記事の執筆時に読むことができませんでした。データマップを基盤にする前に、その発表文を読み、テナントの設定を確認し、Fabric への移行パスがご自身のデータソースにとって何を意味するのかを Microsoft に確認してください。
関連情報
データソース
- Microsoft Learn: Microsoft Purview Data Map
- Microsoft Learn: Microsoft Purview の概要
- Microsoft Learn: Data governance overview
- Microsoft Learn: Data governance plan
- Microsoft Learn: Data Map のスキャンと取り込み
- Microsoft Learn: データ ガバナンスの開始
- Microsoft Learn: Unified Catalog
FAQ
Microsoft Purview Data Map とは何ですか?
Microsoft Learn によると、Data Map は Microsoft Purview におけるデータの検出とデータ ガバナンスの基盤です。ハイブリッド、オンプレミス、マルチクラウドの環境にある分析システム、SaaS、業務システムのデータに関するメタデータを取得します。組み込みのスキャンと分類機能によって、その内容は最新の状態に保たれます。
Data Map と Unified Catalog の違いは何ですか?
Microsoft Learn では、Data Map を、データ ソースをスキャンして収集したメタデータを格納する技術的なレイヤーとして説明しています。Unified Catalog は、管理者がデータを整理し、利用者がデータ プロダクトを探すためのビジネス向けレイヤーです。どちらもメタデータのみを保持し、基になるデータへのアクセス権は付与しません。
Purview Data Map の課金方法は?
Microsoft Learn によると、Data Map は 1 時間単位で課金されます。課金額は、その 1 時間に必要となったキャパシティ ユニットの最大数に基づき、最低 1 ユニットです。1 ユニットには、毎秒 25 件の操作と 10 GB のメタデータ ストレージが含まれます。ストレージが現在のユニットの容量を超えると、スループットを使い切っていなくても次のユニット分が課金されます。
Purview Data Map は提供終了になりますか?
Microsoft Learn のデータ ガバナンスの概要ページには、次のお知らせがあります。Microsoft はデータ ガバナンスを Microsoft Fabric に統合する方針で、以前は Azure Purview と呼ばれていた Unified Catalog と従来の Purview データ ガバナンス機能は提供終了となります。新規アカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードで提供されます。一方、私が確認した Data Map のキャパシティ ページにはこのお知らせはありません。展開を計画する前に、リンク先の発表内容を必ず確認してください。
Data Map を使うと、ファイルやテーブルに誰でもアクセスできるようになりますか?
いいえ。Microsoft Learn によると、Data Map と Unified Catalog に保存されるデータはすべてメタデータであり、基になるデータそのものではありません。また、どちらのソリューションのロールやアクセス許可も、基になるデータへのアクセスを付与しません。