Unity Catalog
Product
Databricks 의 거버넌스 계층으로, 여러 워크스페이스에 걸쳐 중앙 집중식 액세스 제어, 감사, 계보 및 검색 기능을 제공합니다.
함께 다룬 주제
Unity Catalog 관련 에피소드에서는 Azure Databricks, Delta Lake, Apache Spark 및 기계 학습도 다룹니다.
Description
Unity Catalog 는 Databricks 의 거버넌스 계층입니다. Azure Databricks 에서는 데이터와 AI 를 위한 통합 거버넌스 계층으로 설명됩니다. 워크스페이스에서 사용하도록 설정되면 그곳의 모든 데이터 및 AI 상호 작용 아래에서 작동합니다. 워크스페이스 간의 중앙 집중식 액세스 제어, 감사, 계보 및 검색 기능을 제공하므로, 누가 데이터를 보거나 변경할 수 있는지에 대한 규칙을 각 워크스페이스마다 반복해서 정의하는 대신 한 곳에서 정의할 수 있습니다.
문서에서는 실제로 이것이 어떻게 작동하는지 설명합니다. Unity Catalog 는 테이블을 쿼리하거나 모델을 호출할 때마다 액세스를 제어합니다. 계보를 자동으로 추적하고 감사를 위해 활동을 기록합니다. 카탈로그에는 Catalog Explorer, SQL, Databricks CLI 및 REST API 를 통해 액세스할 수 있습니다. 거버넌스의 대상이 되는 모든 항목은 보호 가능 개체이며, 이러한 개체에 대한 권한은 사용자, 서비스 주체 또는 그룹에 부여됩니다. 테이블, 뷰, 볼륨, 함수 및 모델은 카탈로그, 스키마, 개체 자체로 구성된 3단계 네임스페이스로 정리됩니다.
스토리지 결정과 관련하여 중요한 구분은 관리형 개체와 외부 개체의 차이입니다. 테이블과 볼륨은 관리형일 수 있으며, 이 경우 Unity Catalog 가 거버넌스와 함께 스토리지 수명 주기도 처리합니다. 외부일 수도 있으며, 이 경우 Unity Catalog 는 거버넌스만 처리하고 스토리지는 수명 주기 관리 범위 밖에 남습니다. 두 방식 중에서 선택하는 것은 데이터가 이미 기존 스토리지 위치에 있을 때 일반적으로 내리는 설계 결정입니다.
Microsoft Learn 문서에 언급된 기능 영역은 기본 권한을 넘어섭니다. 여기에는 속성 기반 정책과 행 및 열 필터를 사용한 액세스 제어, 검색, 계보, 시스템 테이블로 제공되는 감사 로그, 데이터 분류, 데이터 품질 모니터링, 조직 및 클라우드 간 데이터 공유, AI 거버넌스가 포함됩니다. 즉, 하나의 계층이 분석 데이터와 모델 같은 AI 자산을 모두 다루므로, 이들을 별개의 거버넌스 문제로 취급하지 않습니다.
사용 가능 여부와 관련하여, Unity Catalog 는 2023년 11월 이후에 만들어진 워크스페이스에서 자동으로 켜집니다. 그보다 먼저 만들어진 워크스페이스는 이를 사용하려면 업그레이드해야 합니다. 문서에는 Unity Catalog 의 오픈 소스 구현도 있다고 나와 있으며, 롤아웃을 계획하기 전에 확인해야 할 요구 사항과 제한 사항에 대해서는 별도 페이지를 참조하라고 안내합니다.
M365.FM 에피소드 "Azure Databricks - Simply Explained"는 플랫폼 개요에서 Unity Catalog 를 다룹니다. 그 개요는 Azure Databricks 가 무엇인지, 레이크하우스 개념이 왜 존재하는지, Apache Spark, 노트북, 클러스터, Delta Lake 를 다룬 뒤, "Workspaces, Accounts, and Unity Catalog"를 하나의 주제로 묶습니다. 이 에피소드는 Databricks, Fabric 또는 Synapse 를 언제 사용해야 하는지에 대한 안내로 마무리됩니다. 이러한 맥락에서 Unity Catalog 는 하나의 계정 아래 있는 여러 워크스페이스가 일관된 거버넌스 모델을 어떻게 공유할 수 있는지를 설명하는 부분이며, 이는 Databricks 를 다른 Microsoft 데이터 플랫폼과 비교할 때 관련이 있습니다.
이 용어를 검색하는 사람들을 위해 간단히 요약하면, Unity Catalog 는 누가 어떤 데이터나 모델에 액세스할 수 있는지, 그 데이터가 어디에서 왔는지, 누가 사용했는지, 그리고 데이터를 어떻게 찾거나 공유할 수 있는지에 대한 질문에 답합니다. 테이블을 쿼리하거나 모델을 호출하는 지점에서 시행되고, 계보와 감사 기록이 자동으로 생성되기 때문에, 선택적 추가 기능이 아니라 Azure Databricks 거버넌스의 기반을 이룹니다.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Azure Databricks 의 Unity Catalog 란 무엇입니까? (AI)
Unity Catalog 는 Azure Databricks 에서 데이터와 AI 를 위한 통합 거버넌스 계층입니다. 워크스페이스 전반에 걸쳐 액세스를 제어하고, 계보를 자동으로 추적하며, 활동을 감사용으로 기록합니다.
Unity Catalog 에서 개체는 어떻게 정리됩니까? (AI)
테이블, 뷰, 볼륨, 함수 및 모델은 카탈로그, 스키마, 개체로 구성된 3단계 네임스페이스를 사용합니다. 이러한 보호 가능 개체에 대한 권한은 사용자, 서비스 주체 또는 그룹에 부여됩니다.
Unity Catalog 는 기본적으로 사용하도록 설정되어 있습니까? (AI)
Microsoft Learn 에 따르면 2023년 11월 이후에 만들어진 워크스페이스에서는 자동으로 켜집니다. 그 이전에 만들어진 워크스페이스는 이를 사용하려면 업그레이드해야 합니다.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: