Unity Catalog
Product
Databricks のガバナンスレイヤーで、ワークスペースをまたいだアクセス制御、監査、リネージ、検索を一元的に提供します。
あわせて取り上げられたテーマ
Unity Catalogに関するエピソードでは、Azure Databricks、Delta Lake、Apache Spark、機械学習も取り上げられています。
Description
Unity Catalog は Databricks のガバナンスレイヤーです。Azure Databricks では、データと AI のための統合ガバナンスレイヤーとして説明されています。ワークスペースで有効にすると、そのワークスペース内のすべてのデータおよび AI の操作の基盤として動作します。アクセス制御、監査、リネージ、検索をワークスペースをまたいで一元的に提供するため、誰がデータを参照または変更できるかというルールを、ワークスペースごとに繰り返し定義するのではなく、一か所で定義できます。
ドキュメントでは、実際の動作についても説明されています。Unity Catalog は、テーブルがクエリされたりモデルが呼び出されたりするたびにアクセスを制御します。リネージを自動的に追跡し、監査のためにアクティビティを記録します。カタログへのアクセスは、Catalog Explorer、SQL、Databricks CLI、REST API から行えます。ガバナンスの対象はすべてセキュラブルオブジェクトであり、これらのオブジェクトに対する権限はユーザー、サービスプリンシパル、またはグループに付与されます。テーブル、ビュー、ボリューム、関数、モデルは、カタログ、スキーマ、オブジェクト自体からなる 3 レベルの名前空間で整理されます。
ストレージに関する判断で重要になるのは、マネージドオブジェクトと外部オブジェクトの違いです。テーブルとボリュームはマネージドにできます。その場合、Unity Catalog はガバナンスに加えてストレージのライフサイクルも管理します。外部にすることもでき、その場合 Unity Catalog はガバナンスのみを担当し、ストレージはライフサイクル管理の対象外のままになります。既存のストレージの場所にすでにデータがある場合、どちらを選ぶかは典型的な設計上の判断になります。
Microsoft Learn のドキュメントで挙げられている機能領域は、基本的な権限設定にとどまりません。属性ベースのポリシーと行および列フィルターによるアクセス制御、検索、リネージ、システムテーブルとして公開される監査ログ、データ分類、データ品質の監視、組織やクラウドをまたいだデータ共有、AI ガバナンスが含まれます。つまり、分析データとモデルなどの AI 資産を、別々のガバナンス課題として扱うのではなく、一つのレイヤーで扱えるということです。
提供状況については、2023 年 11 月以降に作成されたワークスペースでは Unity Catalog が自動的に有効になります。それより前に作成されたワークスペースでは、利用するためにアップグレードが必要です。ドキュメントはまた、Unity Catalog のオープンソース実装が存在することも述べており、展開を計画する前に確認すべき要件と制限事項については、別のページを参照するよう案内しています。
M365.FM のエピソード「Azure Databricks - Simply Explained」では、Unity Catalog はプラットフォームの概要の中に位置づけられています。その構成は、Azure Databricks とは何か、レイクハウスという考え方が生まれた理由、Apache Spark、ノートブック、クラスター、Delta Lake を扱い、その後「Workspaces, Accounts, and Unity Catalog」を一つのトピックとしてまとめています。このエピソードは、Databricks、Fabric、Synapse をいつ使うべきかというガイダンスでも締めくくられています。その文脈では、Unity Catalog は、一つのアカウントの下にある複数のワークスペースが一貫したガバナンスモデルを共有する仕組みを説明する部分にあたり、Databricks を他の Microsoft データプラットフォームと比較する際に関連します。
この用語を調べている人にとっての要点は、Unity Catalog が、誰がどのデータやモデルにアクセスできるのか、そのデータがどこから来たのか、誰が使用したのか、そしてどのように検索または共有できるのか、という問いに答えることです。テーブルがクエリされたりモデルが呼び出されたりする時点で適用され、リネージと監査の記録が自動的に生成されるため、任意のアドオンではなく、Azure Databricks におけるガバナンスの基盤を成しています。
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Azure Databricks の Unity Catalog とは何ですか? (AI)
Unity Catalog は、Azure Databricks におけるデータと AI のための統合ガバナンスレイヤーです。ワークスペースをまたいでアクセスを制御し、リネージを自動的に追跡し、アクティビティの監査記録を残します。
Unity Catalog ではオブジェクトはどのように整理されますか? (AI)
テーブル、ビュー、ボリューム、関数、モデルは、カタログ、スキーマ、オブジェクトの 3 レベルの名前空間を使って整理されます。これらのセキュラブルオブジェクトに対する権限は、ユーザー、サービスプリンシパル、またはグループに付与されます。
Unity Catalog はデフォルトで有効になっていますか? (AI)
Microsoft Learn によると、2023 年 11 月以降に作成されたワークスペースでは自動的に有効になります。それより前に作成されたワークスペースでは、利用するためにアップグレードが必要です。
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: