Microsoft Fabric 레이크하우스 아키텍처 마스터하기: 브론즈, 실버, 골드

By Mirko Peters · 2026-08-28

팟캐스트 컴패니언 블로그에 다시 오신 것을 환영합니다! 최신 에피소드에서는 Micro… 안에서 이루어지는 머신 러닝 엔지니어링의 실무적 현실을 깊이 있게 다뤘습니다.

Automatically translated with AI from the original post. Read the English original

Titelbild: Mastering Lakehouse Architecture: Bronze, Silver, and Gold in Microsoft Fabric

팟캐스트 컴패니언 블로그에 다시 오신 것을 환영합니다! 최신 에피소드에서는 Microsoft 생태계 안에서 머신러닝 엔지니어링이 실제로 어떻게 이루어지는지 깊이 있게 다뤘습니다. 아직 듣지 않으셨다면 Build Machine Learning Models in Microsoft Fabric을 꼭 확인해 보세요. 오늘은 이 개념들을 더 확장하여, Microsoft Fabric 레이크하우스 안에서 메달리온 아키텍처로 데이터를 구조화하는 것이 성공적이고 확장 가능한 머신러닝 운영의 가장 확실한 토대가 되는 이유를 살펴보겠습니다.

프로덕션 환경에서 사용할 수 있는 머신러닝 모델을 만드는 일은 적합한 알고리즘을 고르거나 하이퍼파라미터를 조정하는 것만으로 끝나지 않습니다. 대부분의 경우 예측 모델의 성공 여부는 데이터 품질 관리, 재현 가능한 파이프라인, 견고한 거버넌스에 달려 있습니다. 이제 Microsoft Fabric을 사용해 레이크하우스 아키텍처를 제대로 다루는 방법을 자세히 살펴보겠습니다.

아키텍처 한눈에 보기

Microsoft Fabric에서 엔드투엔드 데이터 및 머신러닝 플랫폼을 설계할 때는 데이터의 흐름을 이해하는 것이 무엇보다 중요합니다. 모든 것은 통합 스토리지 계층 역할을 하는 OneLake에서 시작됩니다. 이후 데이터는 레이크하우스로 전달되며, 그 안에서 브론즈, 실버, 골드 Delta 테이블을 거치며 변환됩니다.

컴퓨팅 측면에서 Fabric 노트북은 Spark, Python, R로 구동되는 사전 구성된 데이터 사이언스 스택을 데이터 사이언티스트에게 제공합니다. 실험 추적은 기본 제공되는 MLflow 실행으로 매끄럽게 처리되며, 외부 추적 서버 없이도 메트릭, 매개변수, 아티팩트를 기록합니다. 모델 학습이 끝나면 버전 관리, 승인, 전체 데이터 계보를 갖춘 통합 레지스트리로 이동합니다. 마지막으로 모델은 관리형 일괄 처리 작업이나 실시간 HTTP 엔드포인트를 통해 제공되어 Power BI, Power Apps, 사용자 지정 API 클라이언트 같은 소비자에게 전달됩니다.

레이크하우스: 입력 데이터는 길들이고, 통제는 유지하기

레이크하우스의 핵심 철학은 데이터 레이크의 유연성과 데이터 웨어하우스의 안정성을 결합하는 것입니다. 이를 효과적으로 구현하려면 데이터를 명확히 구분된 계층으로 구조화해야 합니다.

테이블을 계층별로 나누기

브론즈: 원시 데이터 수집 계층입니다. 데이터는 스키마 온 리드 원칙에 따라 이 계층에 적재되며, 감사와 재처리를 위해 변경되지 않은 상태로 유지됩니다.
실버: 이 계층에서는 데이터를 정제하고, 타입을 지정하고, 결합합니다. 개인 식별 정보(PII)는 최소화되며, 초기 품질 검사가 적용됩니다.
골드: 골드 계층에는 명확하고 문서화된 데이터 계약을 기반으로 구축된, 피처로 바로 사용할 수 있는 집계 데이터가 담깁니다. 머신러닝 모델은 이 데이터를 그대로 사용할 수 있습니다.

목적에 따른 액세스 제어

워크스페이스 역할 기반 액세스 제어와 테이블 수준 액세스 제어 목록을 함께 활용하세요. 데이터 사이언티스트에게는 실버 및 골드 테이블에 대한 읽기 권한을 부여하고, 쓰기 권한은 피처 테이블과 실험용 디렉터리에만 제한하세요.

데이터 품질 가드레일

NULL 불허 제약 조건, 값 범위, 참조 무결성에 대한 엄격한 기준을 적용하세요. 검사를 통과하지 못한 행은 _quarantine 테이블로 바로 보내서, 하위 파이프라인이 조용히 실패하거나 손상된 데이터를 수집하지 않도록 하세요.

간소화된 피처 스토어

재사용 가능한 피처는 골드 테이블로 관리하세요. 예를 들어 feat_customer_rolling_90d처럼 관리하고, 각 피처가 무엇을 의미하는지 팀이 정확히 이해할 수 있도록 YAML 데이터 사전을 함께 두세요.

번거로움 없는 노트북

개발자들이 서로 다른 환경에 의존하면 공동 코딩은 금방 혼란스러워질 수 있습니다. Fabric은 pandas, PySpark, scikit-learn, PyTorch를 포함한 사전 설치된 커널을 제공하므로, 모든 사람이 동일한 기준선에서 작업할 수 있습니다.

탐색용 노트북, 피처 엔지니어링 스크립트, 모델 학습 루틴, 구성 파일을 분리하는 체계적인 프로젝트 구조를 채택하세요. 재현성은 수동 UI 클릭이 아니라 코드로 확보하세요. Spark SQL로 레이크하우스에서 데이터를 읽고, 최종 피처는 Delta 테이블로 저장하며, 팀이 대용량 전체 데이터셋 쿼리를 기다리지 않고 빠르게 반복 작업할 수 있도록 작은 개발용 샘플 테이블을 항상 준비해 두세요.

MLflow로 모든 것 추적하기(기본 제공)

모델 실험을 수동으로 추적하면 결과를 재현할 수 없습니다. Fabric에 내장된 MLflow 통합을 활용하면 실행 간 결과를 비교할 수 있고, 모든 기록을 감사할 수 있으며, 새로 배포한 모델의 성능이 떨어졌을 때 손쉽게 롤백할 수 있습니다.

학습 스크립트에서 하이퍼파라미터, 평가 지표, 학습된 모델 아티팩트를 모두 직접 기록하십시오. 또한 데이터 기간, 피처 세트 버전, 코드 커밋 해시 같은 맥락 메타데이터로 실행 내역에 태그를 붙이고, 학습 테이블을 특정 Delta 스냅숏 버전에 고정하십시오.

레지스트리, 승인, 계보

모델을 실험 단계에서 운영 단계로 옮기는 과정이 추측에 의존해서는 안 됩니다. 성능이 가장 좋은 실행을 1.0.0과 같은 시맨틱 버전 관리 방식으로 등록된 모델(Registered Model)에 승격하십시오. 데이터 사이언스 책임자와 비즈니스 책임자 두 사람의 승인을 받는 2단계 승인 프로세스를 구현하십시오. 마지막으로 모델의 목적, 데이터 범위, 공정성 관련 참고 사항, 모니터링 서비스 수준 목표(SLO)를 상세히 담은 포괄적인 모델 카드 메타데이터를 작성하십시오.

서빙 옵션(워크로드에 따라 선택)

배치 스코어링(비용 효율적이고 안정적)

즉각적인 서브 초 단위 응답이 필요하지 않은 워크로드에는 배치 스코어링이 가장 적합합니다. 예약된 Fabric 작업이나 노트북을 사용해 레지스트리에서 운영 모델을 읽고, 배치 데이터셋에 적용한 다음 예측 결과를 레이크하우스에 다시 기록하십시오.

실시간 엔드포인트(대화형 앱)

양식 유효성 검사나 클릭 시점의 위험 점수 산정처럼 사용자가 즉각적인 피드백을 필요로 한다면, 등록된 모델을 Fabric 사용자 인터페이스에서 직접 관리형 실시간 엔드포인트로 배포하십시오. 예측 가능한 JSON 계약을 노출하고, Power Apps나 외부 애플리케이션과 안전하게 연결하십시오.

모니터링 및 재학습

모델을 배포하는 것은 절반의 작업일 뿐입니다. 실시간 피처 분포를 학습 기준선과 비교해 데이터 드리프트를 지속적으로 모니터링해야 하며, 이때 쿨백-라이블러 발산(Kullback-Leibler divergence) 또는 인구 안정성 지수(PSI) 임계값을 활용하십시오. 엔드포인트 지연 시간, 오류율, 1,000건당 스코어 비용 같은 운영 상태 지표도 추적하십시오. 시간 기반 트리거와 이벤트 기반 드리프트 알림을 함께 사용해 재학습 파이프라인을 자동화하면 모델의 정확도를 장기간 유지할 수 있습니다.

보안 및 규정 준수

엔터프라이즈 데이터를 다룰 때는 보안 유지가 무엇보다 중요합니다. 최소 권한 원칙을 적용해 데이터 사이언티스트에게는 silver 및 gold 계층에 대한 읽기 권한만 부여하고, 쓰기 권한은 지정된 피처 및 실험 디렉터리로 제한하십시오. 모든 자격 증명 저장에는 관리 ID와 Azure Key Vault를 사용해, 노트북에 비밀 정보가 하드코딩되지 않도록 하십시오. 또한 silver 계층 초기 단계에서 민감한 정보를 해시하거나 토큰화해 개인 식별 정보(PII) 노출을 최소화하면, 해당 정보가 피처 스토어로 전파되지 않습니다.

측정 항목(가치를 빠르게 입증)

머신러닝 프로젝트의 가치를 빠르게 보여주려면 올바른 지표에 집중해야 합니다. 순위 모델의 성능은 AUC와 precision-at-k로 측정하고, 증분 매출이나 이탈률 감소로 비즈니스 영향을 추적하십시오. 데이터 준비 완료부터 운영 배포까지의 속도를 모니터링하고, 1,000건 예측당 인프라 안정성과 비용 효율성을 평가하십시오.

14일 롤아웃 계획

0에서 시작해 운영 준비가 된 Fabric 환경을 빠르게 구축하려면 다음 2주 롤아웃 계획을 따르십시오.

1~2일차: 레이크하우스 정비, bronze/silver/gold 구조, ACL, 품질 검사.
3일차: 노트북 골격 구성, 데이터 도우미 함수, 개발용 샘플 테이블 준비.
4~5일차: 피처 세트 v1, 기준 모델 학습, MLflow 로깅.
6일차: 평가 스위트, 모델 카드 작성, 모델 등록(v0.1).
7일차: 배치 스코어링 작업 생성 및 Power BI 대시보드 연동.
8일차: 최소 기능 모니터링(MVP), 드리프트 점검, 운영 로깅.
9일차: 승인 워크플로 구현 및 운영 환경 승격.
10일차: 실시간 엔드포인트 설정, 스로틀링, 요청 로깅(해당하는 경우).
11~12일차: A/B 테스트, 백테스팅, 비즈니스 KPI 정의.
13일차: 비용 거버넌스, 자동 크기 조정 가드레일, 카나리 배포 계획.
14일차: 런북 문서화, 팀 인수인계, 백로그 계획.

자주 발생하는 실수(빠른 해결 방법)

경험이 많은 팀도 장애물에 부딪힙니다. 노트북 룰렛을 피하려면 환경을 표준 Fabric 커널로 고정하십시오. 작은 샘플로만 테스트하지 마십시오. 전체 데이터셋으로 확장하면 깨지는 경우가 많습니다. 운영 환경에 유령 모델이 생기지 않도록 레지스트리 승격 워크플로를 엄격하게 적용하십시오. 가능한 한 일괄 처리를 기본값으로 삼고 파생 기능을 캐싱하면 클라우드 비용을 통제할 수 있습니다.

유용한 코드 조각

다음 프로젝트를 시작하는 데 도움이 되도록, 특정 버전의 Delta 테이블을 읽는 방법을 보여주는 간단한 코드 조각을 소개합니다.

sales_v = spark.read.option("versionAsOf", 123).table("lakehouse.gold.sales_txn")

scikit-learn으로 기능 중요도를 추출하고 이를 MLflow에 바로 기록하려면 다음 방법을 사용하십시오.

import pandas as pd
fi = pd.Series(clf.feature_importances_, index=feature_cols).sort_values(ascending=False)
mlflow.log_artifact(fi.head(30).to_frame("importance").to_csv("fi.csv", index=True))

그리고 드리프트 감지를 위해 PSI(Population Stability Index)를 계산하려면 다음을 참고하십시오.

import numpy as np
def psi(expected, actual, bins=10):
    e, b = np.histogram(expected, bins=bins, range=(np.min(expected), np.max(expected)))
    a, _ = np.histogram(actual,   bins=b,     range=(np.min(expected), np.max(expected)))
    e = np.clip(e / e.sum(), 1e-6, None); a = np.clip(a / a.sum(), 1e-6, None)
    return np.sum((a - e) * np.log(a / e))

현재 Lakehouse 테이블 이름과 고객 이탈, 리드 스코어링, 수요 예측 같은 목표 사용 사례를 댓글로 남기시거나 직접 연락해 주십시오. 최소 기능 세트, 기준 모델 선택, 그리고 정확한 일괄 또는 실시간 연결 구성을 정리해 드려 첫 Microsoft Fabric 배포를 빠르게 완료하실 수 있도록 돕겠습니다.