Microsoft Fabric의 Dataflows Gen1 vs Gen2: 올바른 스테이징 및 컴퓨팅 아키텍처 선택

By Mirko Peters · 2026-10-28

Microsoft Fabric의 Dataflows Gen1과 Gen2를 비교해 봅니다. 저장소, 컴퓨팅 스테이징, 용량이 클라우드 ETL 전략에 어떤 영향을 미치는지 알아봅니다.

Automatically translated with AI from the original post. Read the English original

Microsoft Fabric으로 ETL 워크로드를 마이그레이션할 때, Dataflows Gen1과 Gen2 중 올바른 스테이징 및 컴퓨팅 아키텍처를 선택하는 것은 파이프라인 성능, 리소스 비용, 데이터 신뢰성에 직접적인 영향을 미칩니다. 컴퓨팅 할당과 저장소 처리 방식의 근본적인 차이를 이해하면, 팀이 보고서 규모를 키우기 전에 비용이 큰 아키텍처 병목 현상을 미리 방지할 수 있습니다.

핵심 요약

• Dataflows Gen2는 OneLake와의 네이티브 통합을 도입하여, Gen1과 비교해 데이터가 스테이징되고 저장되는 방식을 근본적으로 바꿉니다.
• 작성 단계에서 잘못된 컴퓨팅 옵션을 선택하면 Fabric 워크스페이스에서 예기치 않은 용량 조절과 성능 저하가 발생할 수 있습니다.
• Gen1은 외부 저장 메커니즘에 크게 의존한 반면, Gen2는 기본 대상으로 Fabric Lakehouse 테이블에 직접 기록합니다.
• 적절한 스테이징 구성은 중복 변환을 막고 Power BI 시맨틱 모델 새로 고침을 최적화합니다.
• ETL 전략을 Fabric 용량 단위에 맞추면 조직이 통제되지 않는 컴퓨팅 비용을 피할 수 있습니다.

Fabric에서 나타난 아키텍처 전환 이해하기

레거시 Power BI 데이터플로우에서 Microsoft Fabric 데이터플로우로의 전환은 단순한 이름 변경이 아니라, 클라우드 데이터의 수집, 변환, 보존 방식 전반에 걸친 완전한 아키텍처 개편입니다. 레거시 Gen1 환경에서 데이터플로우는 주로 Power BI 시맨틱 모델에 데이터를 공급하도록 설계되었습니다. 이들은 다소 격리된 생태계에서 동작했으며, 데이터 변환은 Power Query Online에서 이루어지고 결과물은 Power BI 서비스가 전적으로 관리하는 내부 저장소에 저장되었습니다.

Microsoft Fabric의 도입과 함께 Dataflows Gen2는 OneLake를 중앙 데이터 저장소로 활용하도록 처음부터 새로 설계되었습니다. 즉, Power Query Online에서 적용하는 모든 변환이 더 이상 독점적인 모델 컨테이너 안에 갇히지 않습니다. 대신 Gen2는 개방형 Delta Parquet 테이블을 Fabric Lakehouse에 직접 기록함으로써 전통적인 셀프 서비스 데이터 준비와 엔터프라이즈 데이터 엔지니어링 사이의 간극을 메웁니다. 이 근본적인 변화는 클라우드 아키텍트가 데이터 스테이징, 컴퓨팅 활용, 하위 보고서의 신뢰성에 접근하는 방식을 바꿉니다.

저장소 패러다임의 전환

기존 환경에서 비즈니스 분석가가 Excel 내보내기 파일을 정리하고, 빈 행을 삭제하고, 날짜 형식을 지정하려면 그 데이터는 데이터 흐름 저장소 경계 안에 갇혀 있었습니다. 다른 부서가 같은 정리된 데이터 세트를 사용하려면 보고서에서 데이터를 가져오거나 쿼리를 다시 만들어야 하는 경우가 많았습니다. Dataflows Gen2는 Lakehouse를 핵심 대상 위치로 취급하여 이 문제를 해결합니다. 데이터 흐름이 실행되면 정리된 데이터는 Delta 테이블로 즉시 제공되어, 추가 데이터 이동 없이 Spark 노트북, SQL 분석 엔드포인트, DirectLake 보고에 바로 사용할 수 있습니다.

대부분의 팀이 놓치는 컴퓨팅 및 스테이징 결정

Dataflows Gen2를 구축할 때 엔지니어가 내려야 하는 가장 중요한 아키텍처 결정 중 하나는 컴퓨팅과 스테이징 단계를 관리하는 것입니다. 컴퓨팅 관리가 대체로 추상화되어 때로는 불투명했던 Gen1과 달리, Gen2는 기반이 되는 Fabric 용량 단위(CU)에서 실행됩니다. 쿼리 평가 단계에서 데이터가 언제, 어떻게 스테이징되는지 조직이 세심하게 모니터링하지 않으면 예상보다 빨리 용량 할당량을 소진할 위험이 있습니다.

복잡한 변환을 적용하면 Power Query는 해당 단계를 데이터 원본으로 폴딩할 수 있는지, 아니면 데이터 흐름 엔진에서 로컬로 실행해야 하는지를 평가합니다. Gen2에서 스테이징 영역은 중간 랜딩 존 역할을 합니다. 잘못 구성하면 대용량 데이터 세트가 메모리에 반복해서 로드되고, 처리된 후 다시 기록되어 불필요한 컴퓨팅 오버헤드가 발생할 수 있습니다. 아키텍트는 원본 시스템, 네트워크 지연 시간, 변환의 복잡도를 평가하여 처리를 원본 데이터베이스로 내려보낼지, 아니면 무거운 작업을 Fabric에 맡길지 결정해야 합니다.

ETL 워크로드를 위한 용량 단위 최적화

Fabric 용량은 조직 전체가 공유하는 풀입니다. 최적화가 부족한 Dataflow Gen2가 업무 피크 시간에 예약 새로 고침을 실행하면 용량을 과도하게 소비해 스로틀링을 일으킬 수 있으며, 이는 경영진 사용자의 Power BI 보고서 렌더링에 영향을 줍니다. 이를 방지하려면 팀은 무거운 ETL 작업을 적절한 용량 예약이 적용된 전용 작업 영역으로 분리하거나, 업무 외 시간에 실행하도록 예약해야 합니다. 백그라운드 컴퓨팅 작업이 대화형 워크로드와 어떻게 상호 작용하는지 이해하는 것은 안정적인 Fabric 환경을 유지하는 데 필수적입니다.

일관된 아키텍처로 신뢰 구축하기

데이터 파이프라인을 업그레이드하는 궁극적인 목표는 비즈니스 보고를 괴롭혀 온 수동 Excel 수정 작업을 없애는 것입니다. 보고서가 실패하는 원인은 데이터 부족인 경우가 드뭅니다. 거의 항상 신뢰 부족이 원인입니다. 한 보고서는 원시 CSV에서, 다른 보고서는 기존 데이터 흐름에서 데이터를 가져와 서로 다른 수치가 보이면 사용자 도입률은 급격히 떨어집니다.

Dataflows Gen2를 표준으로 삼고 Lakehouse 아키텍처를 활용하면 조직은 단일 진실 공급원을 확립할 수 있습니다. 정리된 날짜, 표준화된 열 이름, 검증된 비즈니스 로직을 데이터 흐름에서 한 번 코드화하면 하위로 자동 전파됩니다. 이렇게 하면 사람의 실수가 줄고 개별 데스크톱 장치에 대한 의존성이 사라지며, 경영진이 대시보드를 열 때 기반 수치가 신뢰할 수 있고 감사 대응이 가능한 상태가 됩니다.

결론

Dataflows Gen2로 마이그레이션하고 구축하려면 클라우드 스토리지, 컴퓨팅 예산, 데이터 거버넌스를 바라보는 관점을 바꿔야 합니다. 반복되는 복잡한 스프레드시트 작업 하나부터 시작해 이를 Fabric Lakehouse에 올바르게 매핑하면, 팀은 오랫동안 유지될 수 있는 확장 가능한 파이프라인을 구축할 수 있습니다. 이러한 변화의 기초 개념을 살펴보고 최신 Microsoft 클라우드 전략에 대한 전문가 인사이트를 듣고 싶다면 M365 FM Podcast의 전체 에피소드 듣기를 꼭 확인해 보시기 바랍니다.

자주 묻는 질문

스토리지 측면에서 Dataflows Gen1과 Gen2의 주요 차이점은 무엇인가요?

Dataflows Gen1은 변환된 데이터를 내부 Power BI 스토리지 경계 안에 저장하는 반면, Dataflows Gen2는 OneLake를 통해 Microsoft Fabric Lakehouse 내부의 개방형 형식 Delta Parquet 테이블에 기본적으로 씁니다.

Dataflows Gen2는 Fabric 용량 단위에 어떤 영향을 미치나요?

Gen2 데이터 흐름은 컴퓨팅 및 스테이징 단계에서 기반 Fabric 용량을 사용합니다. 최적화가 부족한 변환이나 업무 피크 시간의 무거운 새로 고침은 용량 할당량을 소진하고 다른 워크로드에 스로틀링을 일으킬 수 있습니다.

Dataflows Gen2로 기존 Azure Data Factory 파이프라인을 대체할 수 있나요?

셀프 서비스 데이터 준비, 경량 ETL, 로우 코드 데이터 변환에는 Dataflows Gen2가 훌륭한 대안입니다. 다만 복잡한 엔터프라이즈 오케스트레이션, 분기 로직, 고급 데이터 엔지니어링에는 여전히 Azure Data Factory 또는 Fabric Pipelines가 권장 도구입니다.

Dataflows Gen2에서 스테이징 단계가 중요한 이유는 무엇입니까?

스테이징 단계는 데이터 변환을 위한 중간 적재 영역 역할을 합니다. 스테이징을 올바르게 구성하면 중복 데이터 처리를 방지하고, 쿼리 폴딩을 최적화하며, 대상 Lakehouse에 효율적으로 쓰기를 수행할 수 있습니다.

Dataflows Gen2는 보고서의 데이터 신뢰도를 어떻게 높입니까?

지저분한 수동 내보내기 데이터의 정제를 자동화하고 변환 작업을 재사용 가능한 Lakehouse 테이블로 집중시킴으로써, Gen2는 수작업 Excel 우회 작업을 없애고 모든 하위 보고서에서 일관되고 신뢰할 수 있는 데이터를 보장합니다.