Microsoft Fabric Lakehouse vs Warehouse: 어떤 스토리지 엔진을 선택해야 할까요?
By Mirko Peters ·
Microsoft Fabric Lakehouse와 Warehouse를 비교해 봅니다. 엔터프라이즈 분석 아키텍처에서 Spark 기반 Lakehouse와 T-SQL 기반 Warehouse를 언제 사용해야 하는지 알아봅니다.
Automatically translated with AI from the original post. Read the English original
![Cover: Microsoft Fabric End-to-End: From Raw Data to Business Decisions with Amit Chandak [MVP]](https://d3wo5wojvuv7l.cloudfront.net/t_rss_itunes_square_1400/images.spreaker.com/original/bfbd20ad8a411469d5aad58275f070a5.jpg)
Microsoft Fabric Lakehouse와 Microsoft Fabric Warehouse 중 선택하는 일은 데이터 팀에게 가장 중요한 아키텍처 결정 중 하나입니다. 이 가이드는 정형 데이터와 비정형 데이터를 처리하는 방식의 핵심 차이, T-SQL과 PySpark 실행 엔진의 차이, 타임 트래블 기능, 컴퓨팅 격리를 살펴보고 최적의 분석 전략을 설계하는 데 도움을 드립니다.
핵심 요약
- Lakehouse는 Apache Spark가 기본으로 관리하면서 정형 데이터와 비정형 데이터를 모두 다룹니다.
- Warehouse는 정형 데이터에 집중하며, 익숙하고 성능이 뛰어난 T-SQL 쿼리 환경을 제공합니다.
- 두 스토리지 유형 모두 내부적으로 개방형 Delta 형식을 사용하므로, 데이터의 불필요한 물리적 복사본을 만들 필요가 없습니다.
- Lakehouse는 감사를 위해 더 뛰어난 타임 트래블 보존 기능을 제공하는 반면, Warehouse는 정해진 일 단위 기간 내에서 과거 데이터 보존을 관리합니다.
- SQL 개발이 중심인지 고급 데이터 과학이 중심인지와 같이 팀의 기존 기술 역량이 플랫폼 선택에 큰 영향을 미쳐야 합니다.
Fabric 스토리지 기반 이해하기
Lakehouse와 Warehouse 논쟁을 살펴보기 전에, Microsoft Fabric이 해결하려는 문제가 무엇인지 이해하는 것이 도움이 됩니다. 기존 데이터 분석 아키텍처에서는 기업이 원시 데이터 처리를 위한 데이터 레이크와 비즈니스 인텔리전스를 위한 데이터 웨어하우스 중 하나를 선택해야 했습니다. 이러한 분리로 인해 데이터 중복, 사일로화된 거버넌스, 스토리지 및 컴퓨팅 비용 증가가 필연적으로 발생했습니다. Microsoft Fabric은 OneLake라는 공통 기반을 중심으로 이러한 패러다임을 통합합니다.
OneLake 안에서 조직은 다양한 분석 워크로드를 프로비저닝할 수 있습니다. 다만 정형 테이블 데이터의 경우, Lakehouse와 Warehouse 모두 표준화된 Delta Parquet 형식으로 정보를 저장합니다. 즉, 어떤 엔진을 선택하든 기반 데이터 형식은 개방적이고 접근 가능하며, Fabric 생태계 전반에서 상호 운용이 가능하게 유지됩니다.
Lakehouse 아키텍처 및 사용 사례
Microsoft Fabric의 Lakehouse 환경은 데이터 레이크의 장점과 데이터 웨어하우스의 신뢰성을 결합합니다. 이미지, PDF, 로그, CSV 같은 정형 및 비정형 파일을 모두 지원하도록 설계되어 최신 데이터 엔지니어링 파이프라인의 자연스러운 자리입니다.
기본 엔진으로서의 Spark
Lakehouse에서 Apache Spark는 기본 처리 엔진입니다. 데이터 전문가는 PySpark, Spark SQL, Scala 노트북을 활용해 대규모 분산 데이터 변환을 실행합니다. 방대한 데이터 세트, 복잡한 머신 러닝 워크로드 또는 스트리밍 데이터를 다루는 조직에게 Lakehouse는 비교할 수 없을 만큼 유연성을 제공합니다.
고급 타임 트래블과 유연성
Lakehouse는 Delta 테이블을 기반으로 구축되어 타임 트래블 같은 기능을 기본으로 지원합니다. 조직은 데이터의 과거 상태를 쿼리하고, 실수로 발생한 업데이트를 롤백하며, 사실상 무제한 과거 기간을 유지할 수 있습니다. 이러한 세밀한 제어는 시간에 따라 데이터가 어떻게 변하는지 깊이 파악해야 하는 데이터 엔지니어링 팀에게 매우 중요합니다.
Warehouse 아키텍처 및 사용 사례
반면 Microsoft Fabric Warehouse는 정형 데이터와 관계형 모델링을 위해 설계되었습니다. 조직이 수십 년 동안 기존 SQL Server 엔터프라이즈 데이터 웨어하우스를 사용해 왔다면, Warehouse 환경은 익숙하고 고도로 최적화된 T-SQL 환경을 제공합니다.
핵심 도구로서의 T-SQL
데이터 수명 주기를 Spark가 관리하는 Lakehouse와 달리, Warehouse는 T-SQL을 중심에 둡니다. 데이터베이스 관리자, SQL 개발자, 기존 BI 분석가는 PySpark를 배우거나 노트북 환경을 관리하지 않고도 표준 저장 프로시저, 뷰, 복잡한 조인을 작성할 수 있습니다. 따라서 기존 SQL 역량을 갖춘 팀의 도입 장벽이 크게 낮아집니다.
예측 가능한 성능과 관리
Warehouse는 기반 클러스터 관리를 추상화하고, 분석 쿼리에 맞춰 조정된 트랜잭션 데이터베이스 환경을 제공합니다. 타임 트래블은 구성 가능한 한도(예: 120일)까지 지원되지만, 핵심 초점은 의미 체계 모델과 Power BI 보고서로 자연스럽게 데이터를 전달하는 고성능 관계형 쿼리 기능을 제공하는 데 있습니다.
올바른 아키텍처 선택하기
Microsoft Fabric 환경을 설계할 때 반드시 하나만 선택할 필요는 없습니다. 성숙한 많은 아키텍처는 Bronze 및 Silver 변환 계층에서 Lakehouse를 사용해 원시 파일을 수집하고 Spark로 데이터를 정리하는 한편, Gold 계층에서는 Warehouse를 활용해 최종적이고 고도로 정형화된 차원 모델을 비즈니스 사용자에게 제공합니다.
원본 데이터 유형, 팀의 핵심 엔지니어링 역량, 워크로드 강도를 평가하십시오. 업계 전문가들과 함께 이러한 엔드 투 엔드 아키텍처 고려 사항을 더 자세히 살펴보고, MVP들이 최신 엔터프라이즈 데이터 플랫폼을 어떻게 구성하는지 알아보려면 전체 에피소드를 들어보십시오.
자주 묻는 질문
T-SQL로 Microsoft Fabric Lakehouse 데이터에 액세스할 수 있나요?
네. 모든 Microsoft Fabric Lakehouse에는 기본 SQL 엔드포인트가 자동으로 프로비전되므로, Spark 노트북과 함께 표준 T-SQL을 사용해 Delta 테이블을 쿼리할 수 있습니다.
Lakehouse와 Warehouse 사이를 이동할 때 데이터의 물리적 복사본을 만들어야 하나요?
아닙니다. 두 스토리지 엔진 모두 OneLake 위에서 Delta 테이블 형식을 사용하므로, 물리적 파일을 복제하지 않고도 바로가기를 쉽게 만들거나 교차 쿼리를 수행할 수 있습니다.
머신 러닝 워크로드에는 어떤 스토리지 엔진이 더 적합한가요?
일반적으로 머신 러닝과 고급 데이터 과학에는 Lakehouse가 더 권장됩니다. Apache Spark, Python 라이브러리, 비정형 파일 스토리지와 기본적으로 통합되어 있기 때문입니다.
SQL 개발자가 Microsoft Fabric Warehouse에서 PySpark를 사용할 수 있나요?
가능하지만 제약이 있습니다. Spark를 사용해 Warehouse에 연결할 수는 있지만, 기반 엔진은 여전히 T-SQL로 관리되므로 일부 Spark 고유 작업에는 특정 Synapse 라이브러리가 필요할 수 있습니다.