Microsoft Purview Data Map 쉽게 이해하기: 역할과 Purview 내 위치
By Mirko Peters ·
Microsoft Purview Data Map의 개념, 스캔을 통해 데이터가 채워지는 방식, Unified Catalog와의 차이, 용량 단위(capacity unit) 과금 방식, 그리고 Microsoft가 데이터 거버넌스 페이지에 게시한 서비스 종료 안내를 설명합니다.
Automatically translated with AI from the original post. Read the English original
Microsoft Purview Data Map은 메타데이터 인벤토리입니다. 데이터 원본을 스캔하여 무엇이 존재하고 무엇을 담고 있는지 기록하며, 사람들이 데이터를 찾고 거버넌스를 적용할 수 있도록 그 기록을 최신 상태로 유지합니다. 사용자를 위해 데이터를 복사하거나 열어 주지는 않습니다. 시작하기 전에 한 가지 유의하실 점이 있습니다. Microsoft의 데이터 거버넌스 개요 페이지에 서비스 종료 안내가 게시되어 있으며, 이 글 후반부에서 다룹니다.
핵심 포인트
- Data Map은 Purview 데이터 거버넌스의 메타데이터 계층입니다. 데이터 자체가 아니라 데이터 원본에 대한 메타데이터를 저장합니다.
- 스캔은 원본에 연결하여 기술 메타데이터를 수집하고, 스키마를 추출하며, 분류를 적용합니다. 이후 수집(ingestion) 단계에서 그 결과를 Data Map에 적재합니다.
- Unified Catalog는 Data Map 위에 있습니다. 관리자는 여기에서 데이터 제품, 용어집 용어, 도메인을 큐레이션합니다.
- 과금은 용량 단위를 기준으로 합니다. 각 단위는 초당 작업 25개와 메타데이터 10GB를 포함합니다. 계정은 1개로 시작하여 최대 10개까지 자동 조정됩니다.
- Microsoft의 데이터 거버넌스 개요 페이지에 따르면 Unified Catalog와 기존 데이터 거버넌스는 서비스가 종료될 예정이며, 신규 계정은 만들 수 없고 2027년 11월 12일까지 유지 보수 모드로 제공됩니다.
Purview 내에서 Data Map의 위치
Microsoft Learn은 Microsoft Purview를 Microsoft Purview 포털을 통해 제공되는, 데이터를 거버넌스하고 보호하며 관리하기 위한 솔루션 모음으로 설명합니다. 이 솔루션들은 다음 세 영역으로 나뉩니다.
- 데이터 보안: 예를 들어 Data Loss Prevention, Information Protection, Insider Risk Management가 여기에 속합니다.
- 데이터 거버넌스: Data Map과 Unified Catalog가 여기에 속합니다.
- 데이터 규정 준수: 예를 들어 Audit, eDiscovery, Compliance Manager, Records Management가 여기에 속합니다.
민감도 레이블, 분류기, 커넥터는 이들 여러 영역에서 공통으로 사용되는 공유 기능입니다. Data Map은 거버넌스 영역에 속하므로, Microsoft 365에서 파일에 레이블을 지정하는 작업과는 다른 역할입니다.
Data Map의 역할
Microsoft Learn은 Data Map을 데이터 검색과 데이터 거버넌스의 기반으로 부릅니다. 하이브리드, 온프레미스, 멀티클라우드 환경 전반에 걸쳐 분석 시스템, SaaS 애플리케이션, 운영 시스템의 데이터에 대한 메타데이터를 수집합니다. 기본 제공 스캔과 분류 기능이 이 정보를 최신 상태로 유지합니다.
메타데이터는 몇 가지 그룹으로 나뉩니다. 스키마, 데이터 형식, 열 같은 기술 메타데이터, 분류와 컬렉션 매핑 같은 의미 메타데이터, 계보 실행 상태 같은 운영 메타데이터, 설명과 용어집 용어 같은 비즈니스 메타데이터입니다.
보안 검토에서 중요한 규칙이 하나 있습니다. Microsoft는 Data Map과 Unified Catalog의 모든 데이터가 메타데이터라고 밝히고 있습니다. 두 솔루션의 어떤 권한도 데이터 자체에 대한 액세스를 제공하지 않습니다.
Data Map과 Unified Catalog 비교
두 제품은 자주 혼동됩니다. Microsoft의 계획 지침은 다음과 같이 둘을 구분합니다.
- Data Map은 기술 계층입니다. 소스를 스캔해 수집한 자산에 대한 메타데이터를 저장합니다.
- Unified Catalog는 비즈니스 중심 계층입니다. 데이터 관리자가 여기서 데이터를 큐레이션하고, 소비자는 데이터 제품을 찾습니다.
Unified Catalog의 주요 개체는 거버넌스 도메인(예: Marketing, Finance), 데이터 제품, 용어집 용어, 중요 데이터 요소, OKR, 데이터 품질 점수입니다. Data Map이 이 카탈로그에 데이터를 공급합니다. 소스 등록과 스캔은 Data Map에서 이루어지고, 데이터 제품은 Unified Catalog에서 만듭니다.
스캔이 Data Map을 채우는 방식
스캔은 데이터 소스에 연결해 이름, 파일 크기, 열 같은 기술 메타데이터를 수집합니다. 구조화된 소스의 경우 스키마를 추출하고 분류를 적용합니다. Data Map이 Microsoft Purview 포털에 연결되어 있다면 민감도 레이블도 적용합니다. 그다음 수집 단계에서 스캔 결과를 분석하고, 리소스 집합 패턴을 적용하고, 사용 가능한 계보를 추가한 뒤 Data Map에 적재합니다. 자산은 수집이 끝난 후에야 큐레이션할 수 있습니다.
각 스캔에는 수준이 있습니다.
| 수준 | 추출 항목 | |---|---| | L1 | 파일 이름, 크기, 정규화된 이름(FQN) 같은 기본 메타데이터 | | L2 | 구조화된 파일 형식과 데이터베이스 테이블의 스키마 | | L3 | 해당하는 경우 스키마에 더해 샘플링과 분류 |
자동 감지가 기본값이며, 소스가 지원하는 가장 높은 수준을 적용합니다. Azure SQL Database의 경우 수준 3입니다. 사용자 지정 스캔 수준은 Azure 통합 런타임과 Managed Virtual Network 통합 런타임 v2에서만 사용할 수 있습니다.
스캔 규칙 집합은 스캔이 찾을 파일 형식과 분류를 정의합니다. 많은 소스에 시스템 규칙 집합이 있으며, 사용자 지정 규칙 집합도 만들 수 있습니다. 스캔은 한 번만 실행하거나 매일, 매주, 매월 일정에 따라 실행할 수 있습니다. Microsoft는 활발히 개발 중인 소스에는 매일 또는 매주를, 변경이 드문 소스에는 매월을 권장합니다.
자격 증명은 가능한 경우 관리 ID를 사용하도록 Microsoft가 권장합니다. 소스마다 자격 증명을 저장할 필요가 없어지기 때문입니다. Purview 자체는 암호나 비밀을 직접 저장하지 않습니다.
삭제는 마지막 스캔과 현재 스캔을 비교해 감지합니다. 따라서 삭제된 자산이 반영되려면 성공한 스캔이 여러 번 필요할 수 있습니다.
용량 단위와 청구
Data Map은 용량 단위(CU)로 청구됩니다. 각 CU는 작업 처리량과 메타데이터 스토리지를 나타냅니다.
- CU당 초당 25개 작업
- CU당 10GB의 메타데이터 스토리지
- 모든 계정은 1CU로 시작하며, 기본적으로 최대 10CU까지 자동 조정됩니다.
- 메타데이터 스토리지에는 기본 한도가 없습니다.
작업에는 자산 만들기, 관계 추가, 비즈니스 메타데이터 편집, 키워드 검색 실행이 포함됩니다. 청구는 시간 단위이며, 해당 시간에 필요한 가장 높은 CU를 기준으로 하고 최소 1CU입니다. 스토리지만으로도 비용이 발생할 수 있습니다. 초당 25개 작업에 15GB라면 2CU에 대한 요금이 청구됩니다. Microsoft의 6시간 예시를 합산하면 22 용량 단위 시간이 됩니다.
사용량을 확인하려면 Azure Portal에서 Microsoft Purview 계정을 열고 계정을 선택한 다음, 개요 페이지에서 모니터링을 확인합니다. 자세한 내용은 모니터링 > 메트릭으로 이동해 Data Map Capacity Units 또는 Data Map Storage Size를 선택합니다. 같은 페이지에서 경고도 만들 수 있습니다.
Microsoft의 비용 절감 팁은 실용적입니다. 첫 전체 스캔 이후에는 증분 스캔을 사용하고, 스캔 범위를 제한하며, 일정을 분산하고, 최신성이 허용하는 범위에서 빈도를 줄이고, 필요하지 않은 계보 추출은 끄고, 과거 계보를 정리하십시오.
시작하기 좋은 순서
Microsoft의 시작하기 페이지는 Purview Enterprise 인스턴스와 등록 및 스캔된 데이터 소스라는 사전 요구 사항을 충족한 뒤 데이터 거버넌스를 위한 기본 설정 단계를 다음과 같이 안내합니다.
- 데이터 거버넌스 관리자 역할을 할당합니다.
- 거버넌스 도메인 구축: 거버넌스 도메인 생성자 역할을 할당하고, 도메인을 하나 이상 만들며, 도메인 소유자를 한 명 이상 할당합니다.
- Data Map에 데이터 원본을 등록하고 검색합니다.
- 데이터 제품 구축: 데이터 제품 소유자를 할당하고, 데이터 제품을 하나 이상 만듭니다.
- 사용자가 데이터 제품을 탐색할 수 있도록 거버넌스 도메인에서 카탈로그 리더 액세스 권한을 부여합니다.
계획 페이지도 비슷한 순서를 제시하며, 첫 검색 전에 Data Map에서 컬렉션을 만들고 데이터 원본 관리자를 추가하는 단계도 언급합니다. 전사를 한꺼번에 대상으로 하기보다 비즈니스 인텔리전스나 데이터 레이크 팀처럼 데이터 거버넌스에 가장 관심이 많은 이해관계자부터 시작하라고 권장합니다.
사용 중단 공지와 출처에서 명확하지 않은 점
Microsoft Learn의 데이터 거버넌스 개요는 "Unified Catalog와 이전 Azure Purview였던 기존 Microsoft Purview 데이터 거버넌스 기능은 사용 중단될 예정이며, Microsoft는 데이터 거버넌스 기능을 Microsoft Fabric으로 통합하고 있습니다."라는 메시지로 시작합니다. 또한 새 계정은 더 이상 만들 수 없으며, 기존 기능은 2027년 11월 12일까지 유지 관리 모드로 제공된다고 설명합니다.
출처마다 어조가 다릅니다. 제가 읽은 Data Map 용량 페이지는 여전히 Azure 포털에서 계정을 만드는 방법을 설명하며 사용 중단 공지가 없습니다. 계획 페이지에도 공지가 없습니다. 개요 페이지가 링크한 전체 공지는 이 글을 작성하면서 읽지 못했습니다. Data Map 기반으로 작업하기 전에 해당 공지를 읽고, 테넌트 설정을 확인하고, Fabric 경로가 여러분의 데이터 원본에 어떤 의미인지 Microsoft에 문의하십시오.
관련 자료
데이터 원본
- Microsoft Learn: Microsoft Purview Data Map
- Microsoft Learn: Microsoft Purview 알아보기
- Microsoft Learn: 데이터 거버넌스 개요
- Microsoft Learn: 데이터 거버넌스 계획
- Microsoft Learn: Data Map의 검색 및 수집
- Microsoft Learn: 데이터 거버넌스 시작하기
- Microsoft Learn: Unified Catalog
FAQ
Microsoft Purview Data Map이란 무엇입니까?
Microsoft Learn에 따르면 Data Map은 Microsoft Purview에서 데이터 검색과 데이터 거버넌스의 기반이 되는 계층입니다. 하이브리드, 온프레미스, 멀티클라우드 환경에 걸쳐 분석 시스템, SaaS, 운영 시스템의 데이터에 대한 메타데이터를 수집합니다. 기본 제공 스캔과 분류 기능이 이 정보를 최신 상태로 유지합니다.
Data Map과 Unified Catalog의 차이는 무엇입니까?
Microsoft Learn은 Data Map을 데이터 원본을 스캔해 수집한 메타데이터를 저장하는 기술 계층으로 설명합니다. Unified Catalog는 관리자(steward)가 데이터를 큐레이션하고 소비자가 데이터 제품을 찾는 비즈니스 중심 계층입니다. 두 솔루션 모두 메타데이터만 보유하며, 기础 데이터에 대한 접근 권한을 부여하지 않습니다.
Purview Data Map은 어떻게 과금됩니까?
Microsoft Learn에 따르면 Data Map은 시간 단위로 과금되며, 해당 시간에 필요한 용량 단위(capacity unit)의 최대 개수를 기준으로 하고 최소 1개입니다. 용량 단위 하나에는 초당 작업 25개와 메타데이터 저장 공간 10GB가 포함됩니다. 저장 용량이 현재 단위를 초과하면 처리량을 사용하지 않더라도 다음 단위가 과금됩니다.
Purview Data Map이 서비스 종료되는 것입니까?
Microsoft Learn의 데이터 거버넌스 개요 페이지에는 Microsoft가 Microsoft Fabric으로 데이터 거버넌스를 통합하면서 Unified Catalog와 이전 Azure Purview 기반의 기존 Purview 데이터 거버넌스 기능이 종료된다는 안내가 있습니다. 새 계정은 더 이상 만들 수 없으며, 기존 기능은 2027년 11월 12일까지 유지 보수 모드로 제공된다고 명시되어 있습니다. 제가 확인한 Data Map 용량 페이지에는 이런 안내가 없으므로, 배포를 계획하기 전에 연결된 공지를 반드시 확인하시기 바랍니다.
Data Map을 사용하면 사용자가 제 파일과 테이블에 접근할 수 있습니까?
아닙니다. Microsoft Learn에 따르면 Data Map과 Unified Catalog의 모든 데이터는 기초 데이터가 아닌 메타데이터이며, 두 솔루션의 역할이나 권한 중 어떤 것도 기초 데이터에 대한 접근 권한을 제공하지 않습니다.