M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

하드코딩을 멈추세요: Power BI 데이터플로에서 매개 변수를 사용하는 방법

By ·

팟캐스트에 다시 오신 것을 환영합니다. 현대 데이터 엔지니어링에 대한 심층 탐구를 이어 가겠습니다. 오늘 블로그 글에서는 경험이 많은 개발자도 자주 어려움을 겪는 주제를 다루려 합니다. 깨지기 쉬운 하드코딩 값에서 벗어나 데이터 준비 파이프라인에 매개 변수화를 적용하는 방법입니다. 데이터플로를 개발 환경에서 운영 환경으로 옮길 때 데이터 원본 연결이 모두 끊어져 고생한 적이 있다면, 이 가이드가 도움이 될 것입니다. 데이터플로를 실제로 유연하고 재사용 가능하며 엔터프라이즈 환경에 적합하게 만드는 방법을 살펴보겠습니다.

Automatically translated with AI from the original post. Read the English original

팟캐스트에 다시 오신 것을 환영합니다. 현대 데이터 엔지니어링에 대한 심층 탐구를 이어 가겠습니다. 오늘 블로그 글에서는 경험이 많은 개발자도 자주 어려움을 겪는 주제를 다루려 합니다. 깨지기 쉬운 하드코딩 값에서 벗어나 데이터 준비 파이프라인에 매개 변수화를 적용하는 방법입니다. 데이터플로를 개발 환경에서 운영 환경으로 옮길 때 데이터 원본 연결이 모두 끊어져 고생한 적이 있다면, 이 가이드가 도움이 될 것입니다. 데이터플로를 실제로 유연하고 재사용 가능하며 엔터프라이즈 환경에 적합하게 만드는 방법을 살펴보겠습니다.

Power BI의 데이터플로 재사용 원칙

모듈식 설계

모듈식 설계로 데이터플로를 재사용할 수 있습니다. 데이터플로를 작은 부분으로 나누면 각 부분을 쉽게 변경할 수 있습니다. Microsoft Fabric의 Dataflows Gen2가 이를 도와줍니다. 보고서를 만들기 전에 데이터플로를 사용해 데이터를 준비할 수 있습니다. 데이터플로는 한 번만 만들면 됩니다. 그다음 여러 곳에서 사용할 수 있습니다. 이렇게 하면 시간을 절약하고 어디서나 동일한 로직을 유지할 수 있습니다.

  • 다른 작업 영역과 데이터 세트를 공유할 수 있습니다. 즉, 여러 작업 영역에서 하나의 기본 데이터 세트에 연결할 수 있습니다. 같은 데이터 모델을 반복해서 만들 필요가 없습니다.
  • Dataflows Gen2를 사용하면 보고서 간에 변경 내용을 공유할 수 있습니다. 이렇게 하면 데이터플로의 재사용성과 데이터의 일관성이 유지됩니다.

매개 변수화

데이터플로를 재사용 가능하게 만들려면 매개 변수화가 중요합니다. 매개 변수를 사용하면 상황에 따라 데이터플로의 동작을 제어할 수 있습니다. 예를 들어 데이터 원본이나 위치별로 매개 변수를 설정할 수 있습니다. 그러면 상황마다 새 데이터플로를 만들 필요가 없습니다.

  • 매개 변수화를 사용하면 테스트, 빌드, 실행에 같은 로직을 적용할 수 있습니다.
  • 위치별로 연결과 설정을 관리할 수 있습니다.
  • 작업을 반복하지 않아도 되며, 데이터플로를 그룹 전체에서 재사용할 수 있습니다.

하드코딩된 로직 피하기

하드코딩된 로직을 사용하지 않으면 데이터플로가 더 유연해집니다. 하드코딩된 값은 데이터플로를 하나의 원본이나 하나의 상황에 묶어 둡니다. 대신 매개 변수와 작은 단계를 사용하세요. Dataflows Gen2가 이를 도와줍니다. 많은 데이터 원본에 연결하고 변경 가능한 설정을 사용할 수 있습니다. 요구 사항이 바뀌어도 데이터플로를 재사용 가능한 상태로 유지하는 데 도움이 됩니다.

팁: 데이터 변환 로직과 보고 로직은 항상 분리해 두세요. 그래야 업데이트가 간단해지고, 새 프로젝트에서도 데이터플로를 재사용할 수 있습니다.

Power BI 데이터플로: 재사용성이 중요한 이유

정의와 이점

데이터 프로젝트에서 재사용성이 왜 중요한지 아는 것은 중요합니다. 재사용 가능한 데이터플로를 사용하면 분석을 위한 탄탄한 기반을 마련할 수 있습니다. Power BI 데이터플로를 이용하면 변환 로직을 한 번 만들어 여러 번 사용할 수 있습니다. 이를 통해 데이터를 깔끔하고 쉽게 찾을 수 있는 상태로 유지할 수 있습니다.

재사용 가능한 데이터플로에는 다음과 같은 장점이 많습니다.

  • 모든 보고서에 같은 변환 로직을 적용할 수 있습니다. 즉, 모든 보고서가 같은 규칙을 따르게 됩니다.
  • 비즈니스 로직을 많이 처리하지 않아도 됩니다. 그래서 업데이트가 빠르고 간단합니다.
  • 데이터를 한곳에 모아 관리할 수 있습니다. 팀의 누구나 결과를 신뢰할 수 있습니다.
  • 보고서마다 같은 단계를 반복하지 않으므로 시간을 절약할 수 있습니다.
  • 실수가 줄어듭니다. 데이터가 항상 동일하면 오류도 적어집니다.

Dataflows Gen2를 사용하면 더 많은 기능을 활용할 수 있습니다. 여러 원본에 연결하고 한곳에서 데이터를 준비할 수 있습니다. 특별한 데이터 세트를 보고서와 대시보드에 공유할 수도 있습니다. 이를 통해 팀의 협업이 원활해지고 분석 역량도 강화됩니다.

참고: 데이터를 한곳에서 준비하면 원시 데이터를 유용한 인사이트로 바꾸는 데 도움이 됩니다.

흔한 함정

재사용성을 고려하지 않으면 문제가 생길 수 있습니다. 로직을 여러 보고서에 복사해 붙여 넣게 될 수 있습니다. 그러면 실수가 생기고 시간이 낭비됩니다. 데이터의 일관성을 유지하기도 어려워집니다.

흔히 발생하는 문제는 다음과 같습니다.

  • 하나를 재사용하지 않고 프로젝트마다 새 데이터플로를 만드는 것.
  • 바뀌어야 할 때 바뀌지 않는 값을 사용하는 것.
  • 변환 단계를 문서로 남기지 않는 것.
  • 데이터를 한곳에서 준비하지 않는 것.

Dataflows Gen2는 이러한 문제를 피하는 데 도움이 됩니다. 데이터를 가져오고, 변경하고, 저장하기 위한 클라우드 도구를 제공합니다. 데이터를 한곳에서 처리하고 그룹 전체와 공유할 수 있습니다. 이를 통해 분석 작업이 원활해지고 결과를 신뢰할 수 있게 됩니다.

재사용 가능한 데이터플로 구축

Building Reusable Dataflows

재사용을 고려한 설계

몇 가지 간단한 단계를 따르면 재사용 가능한 데이터플로를 만들 수 있습니다. 먼저 Power BI 서비스를 열고 작업 영역으로 이동합니다. 새 항목을 클릭한 다음 데이터플로를 선택합니다. 테이블을 추가하고 Power BI 데이터플로(레거시)를 선택합니다. 로그인 상태를 확인한 후 다음을 클릭합니다. 원하는 테이블을 선택하고 데이터 변환을 시작합니다. 각 단계를 순서대로 진행하면 탄탄한 데이터 파이프라인을 구축하는 데 도움이 됩니다.

Power Query Online을 사용하면 IT 부서를 기다리지 않고 직접 ETL 프로세스를 수행할 수 있습니다. 데이터를 가져오고, 변환하고, 로드하는 작업을 직접 처리할 수 있습니다. 이 도구 덕분에 자체적으로 작업할 수 있으며 데이터플로를 다시 쉽게 활용할 수 있습니다. 하나의 작업을 잘 수행하는 데이터플로를 만들 수 있습니다. 예를 들어 원시 데이터만 가져오는 스테이징 데이터플로를 구성할 수 있습니다. 다른 데이터플로는 이 스테이징 데이터플로를 활용해 추가 변환을 수행할 수 있습니다.

데이터플로를 재사용하려면 모듈성을 고려해야 합니다. 데이터플로를 작은 단위로 나누십시오. 각 단위는 한 가지 작업만 수행해야 합니다. 이렇게 하면 전체를 변경하지 않고도 한 부분만 쉽게 수정하거나 업데이트할 수 있습니다. Dataflows Gen2를 사용하여 이러한 단위를 관리할 수 있습니다. 이 방식은 작업 속도를 높이고 팀이 스스로 해결할 수 있도록 돕습니다.

팁: 필요한 데이터만 가져오십시오. 혹시 모르니 모든 데이터를 불러오지 마십시오. 이렇게 하면 데이터플로가 빠르고 간단하게 유지됩니다.

매개 변수 및 템플릿 사용

매개 변수와 템플릿을 사용하면 여러 작업 영역에서 데이터플로를 활용할 수 있습니다. Power Query 매개 변수 또는 Fabric 변수를 설정하여 항목 ID를 처리할 수 있습니다. 이렇게 하면 데이터플로를 새 작업 영역으로 쉽게 옮길 수 있습니다. 매번 로직을 변경할 필요가 없습니다.

Power BI Desktop에서 매개 변수를 사용하여 데이터플로를 보낼 위치를 선택할 수 있습니다. 파일을 템플릿으로 저장하십시오. 이제 몇 번의 클릭만으로 여러 곳에서 데이터플로를 사용할 수 있습니다. 이 방식은 스스로 작업할 수 있게 도와주며 실수를 줄여 줍니다. 테스트 용도와 실제 사용 용도를 손쉽게 전환할 수 있습니다.

  • Power Query 매개 변수와 Fabric 변수는 각 작업 영역을 설정하는 데 도움이 됩니다.
  • 템플릿을 사용하면 새 데이터플로에 동일한 구성을 적용할 수 있습니다.
  • 데이터플로를 구축 단계에서 테스트 단계를거쳐 실제 사용 단계까지 더 적은 작업으로 옮길 수 있습니다.

매개 변수와 템플릿을 사용하면 데이터플로를 유연하게 운영할 수 있습니다. 처음부터 다시 시작하지 않고도 여러 팀과 프로젝트를 지원할 수 있습니다. 이는 셀프 서비스 데이터 엔지니어링에서 중요합니다.

단일 진실 공급원

단일 진실 공급원이란 주요 데이터 세트를 하나만 유지하는 것을 의미합니다. 이렇게 하면 모든 사용자가 결과를 신뢰할 수 있습니다. Dataflows Gen2를 사용하여 하나의 시맨틱 모델을 만들 수 있습니다. 모든 보고서와 대시보드가 이 모델을 사용합니다. 이를 통해 실수를 줄이고 데이터의 일관성을 유지할 수 있습니다.

데이터를 한곳에 보관하면 거버넌스를 개선할 수 있습니다. 누가 데이터를 사용하고 어떻게 사용하는지 확인할 수 있습니다. 이는 규칙을 준수하고 데이터를 올바르게 관리하는 데 도움이 됩니다. Dataflows Gen2를 사용하면 데이터 분류와 조인을 손쉽게 처리할 수 있습니다. 민감한 데이터에 대한 규칙을 설정하고 모든 사용자가 이를 따르도록 할 수 있습니다.

참고: 단일 진실 공급원은 팀이 올바른 결정을 내리는 데 도움이 됩니다. 모든 사용자가 같은 숫자와 용어를 사용하게 됩니다.

문서화 방법

잘 작성된 문서는 데이터플로를 장기간 쉽게 사용할 수 있도록 유지합니다. 데이터를 준비하기 위해 수행한 모든 단계를 기록해야 합니다. 그래야 다른 사람들이 무엇을 했는지 알 수 있습니다. 각 단계에 명확한 이름을 붙이십시오. 특정 선택을 한 이유를 설명하는 메모를 추가하십시오.

  • 각 데이터플로의 소유자와 업데이트 담당자를 명시하십시오.
  • 데이터플로와 각 테이블에 설명을 추가하십시오.
  • 데이터플로를 사용하는 보고서와 대시보드를 추적하십시오.
  • 만든 각 단계에 명확한 이름을 사용하십시오.

문서화와 구성을 위한 최선의 방법은 다음 표와 같습니다.

모범 사례설명
템플릿템플릿을 사용하여 데이터플로를 일관되게 유지하고 쉽게 재사용하십시오.
버전 관리Azure DevOps 또는 GitHub 같은 도구로 변경 사항을 추적하십시오.
시맨틱 계층과 보고 계층 분리중복을 방지하고 보안을 강화하려면 모든 보고서에 대해 하나의 주요 모델을 유지하십시오.

명명 규칙도 중요합니다. DF_HubSpot_Contacts_Daily와 같은 이름을 사용하십시오. 데이터플로에는 DF_를 접두사로 붙이십시오. DEV_, TEST_, PROD_와 같이 환경을 표시하십시오. 이름을 작성하는 스타일을 정하고 모든 곳에서 일관되게 사용하십시오. 이렇게 하면 데이터플로를 쉽게 찾고 이해할 수 있습니다.

작업 영역을 어떻게 구성하느냐가 재사용성에 영향을 미칩니다. 데이터플로를 서로 다른 작업 영역에 배치하십시오. 이렇게 하면 사용자가 독립적으로 작업할 수 있고 팀별 보안을 관리할 수 있습니다. 모든 데이터플로를 하나의 작업 영역에 두지 마십시오. 작업 목적에 따라 서로 다른 작업 영역을 사용하십시오. 이를 통해 데이터 엔지니어링을 확장하고 더 많은 사용자를 지원할 수 있습니다.

팁: 셀프 서비스는 모든 사용자가 필요한 데이터플로를 찾고, 사용하고, 신뢰할 수 있을 때 가장 효과적입니다.

Power BI 데이터플로의 예시와 주의점

Examples & Pitfalls in Power BI Dataflows

일회성 데이터플로 리팩터링

때로는 보고서 하나를 위해 데이터 흐름부터 만들기 시작합니다. 이렇게 하면 나중에 혼란이 생기고 작업량도 늘어납니다. 리팩터링은 복잡하게 얽힌 파이프라인을 단순한 구성 요소로 바꾸는 작업입니다. 예를 들어 Trident Advisory Group은 보고서마다 여러 파이프라인을 운영하고 있었습니다. 이를 하나의 데이터 흐름으로 통합하여 원시 이벤트 로그를 수집하도록 바꾸었습니다. 이제 비즈니스 분석가는 IT 부서를 기다리지 않고 새 보고서를 만들 수 있습니다. 이 변경으로 작업이 더 빠르고 쉬워졌습니다. 세 시간이 걸리던 보고서가 이제 15분이면 완료됩니다. 팀 전체가 모든 보고서에 같은 로직을 사용하게 됩니다.

주요 이점은 다음 표와 같습니다.

이점설명
효율성 향상새로 고침 주기가 3시간에서 15분으로 줄어들어 리소스를 다른 작업에 활용할 수 있습니다.
셀프 서비스 분석비즈니스 분석가가 데이터 흐름을 기반으로 애드혹 보고서를 직접 만들 수 있습니다.
데이터 거버넌스데이터 변환 로직을 한곳에 집중하면 보고서 전반에서 측정값의 일관성이 보장됩니다.

리팩터링할 때는 변경 사항이 다른 앱에 어떤 영향을 주는지 확인하십시오. 명확한 소유자가 없는 데이터는 반드시 통합하여 관리하십시오. 이렇게 해야 데이터를 안전하고 체계적으로 유지할 수 있습니다.

피해야 할 실수

데이터 흐름을 재사용하려고 할 때 실수하기 쉽습니다. 한 가지 실수는 하나의 데이터 흐름을 사용하는 대신 모든 보고서에 로직을 복사하는 것입니다. 이렇게 하면 오류가 생기고 업데이트하기도 어려워집니다. 또 다른 실수는 변경할 수 없는 고정값을 사용하는 것이며, 이는 유연성을 떨어뜨립니다. 작업 단계를 문서로 남겨 두지 않으면 팀이 혼란스러워질 수 있습니다.

Dataflows Gen2를 사용하면 이런 문제를 피할 수 있습니다. 시각적 도구로 적은 코드만 사용해 파이프라인을 만들 수 있습니다. Power Query는 사용하기 쉽고, 필요하면 고급 변경도 수행할 수 있습니다. 보고서의 새로 고침 시간을 설정하는 것도 잊지 마십시오. 환경 간에 항목을 옮길 때도 Dataflows Gen2를 사용하면 배포가 간편합니다.

팁: 데이터 변환 로직은 한곳에 모아 두십시오. 그래야 팀이 데이터를 신뢰하고 모든 것을 체계적으로 관리할 수 있습니다.


Power BI의 Power Query 및 Power Query Online으로 데이터 흐름 만들기

Power BI 데이터 흐름이란 무엇이며 Power Query와는 어떤 관계인가요?

Power BI 데이터 흐름은 Power BI 서비스에서 만들고 관리하는 테이블 모음으로, Power Query를 사용해 다양한 원본의 데이터를 추출, 변환, 로드합니다. 데이터 준비 작업을 중앙화하여 Power BI의 데이터 세트와 하위 보고서가 동일한 변환 데이터를 재사용할 수 있게 하므로 중복이 줄고 대규모 데이터 솔루션의 데이터 관리를 지원합니다.

Power BI 서비스에서 데이터 흐름은 어떻게 만들나요?

데이터 흐름을 만들려면 Power BI 서비스에서 작업 영역을 열고 "만들기"를 선택한 후 "데이터 흐름"을 선택합니다. 온라인 Power Query 편집기를 사용해 온프레미스, Azure 또는 클라우드 등 다양한 원본에 연결하고, 엔터티와 변환을 정의한 후 저장합니다. 데이터 웨어하우스나 대용량 데이터를 위한 ETL을 모듈화하려면 여러 데이터 흐름을 만들 수도 있습니다.

Power BI Desktop에서 데이터 흐름을 사용할 수 있나요? 그리고 데이터 세트와는 어떻게 연결되나요?

예, Power BI 데이터 흐름을 데이터 원본으로 연결하여 Power BI Desktop에서 사용할 수 있습니다. 연결하면 Power BI 보고서가 데이터 흐름의 데이터를 원본으로 사용하며, 다른 데이터 원본과 결합하여 Power BI 데이터 세트를 구성하고 보고서를 다시 Power BI 서비스에 게시할 수 있습니다.

Power BI 데이터 흐름의 일반적인 사용 사례와 데이터 흐름 만들기 시나리오는 무엇인가요?

일반적인 사용 사례는 여러 보고서에 공통된 데이터 준비 로직을 중앙화하는 것, 기업 전체의 단일 정보 원본을 만드는 것, 데이터 웨어하우스나 Azure Data Lake Storage Gen2를 위해 데이터를 준비하는 것, 예약된 새로 고침으로 대용량 데이터를 처리하는 것, 그리고 여러 Power BI 데이터 세트와 Power Platform 앱에서 재사용할 수 있게 하는 것입니다.

데이터 흐름 새로 고침은 어떻게 작동하며, 데이터 흐름 새로 고침은 어떻게 예약하나요?

데이터 흐름 새로 고침은 데이터 흐름에 정의된 Power Query 변환을 실행하여 엔터티를 최신 데이터로 업데이트합니다. Power BI 서비스에서 새로 고침 예약 설정을 구성하여 일정에 따라 실행하거나, Power Automate를 사용해 이벤트 기반으로 새로 고침할 수 있습니다. 새로 고침 빈도와 병렬 처리는 Power BI Premium 구독이나 용량에 따라 달라질 수 있다는 점에 유의하십시오.

Power BI에서 데이터 흐름과 데이터 세트의 차이점은 무엇인가요?

데이터 흐름은 Power Query Online을 사용한 상위 단계의 ETL에 초점을 맞추어 데이터 흐름 데이터로 저장되는 재사용 가능한 테이블을 만듭니다. 반면 데이터 세트는 Power BI에서 분석과 모델링(테이블, 관계, 측정값)에 최적화되어 있습니다. 데이터 세트는 일반적으로 데이터 흐름을 원본으로 사용하므로, 여러 데이터 세트와 보고서가 같은 준비 데이터를 공유할 수 있습니다.

데이터 흐름을 Azure에 저장할 수 있나요? 그리고 ADLS Gen2 지원은 어떻게 되나요?

예, Power BI 데이터플로는 "향상된 컴퓨팅 엔진"을 사용하거나 ADLS Gen2를 기반으로 하는 작업 영역에 연결하면 엔터티를 Azure Data Lake Storage Gen2(ADLS Gen2)에 저장할 수 있습니다. 이를 통해 빅데이터 시나리오를 지원하고, Azure Data Factory 등 다른 도구에서 직접 사용할 수 있으며, 더 넓은 데이터 웨어하우스 아키텍처와 통합할 수 있습니다.

데이터플로를 사용하려면 Power BI Premium이 필요합니까? 그리고 어떤 기능에 프리미엄이 필요합니까?

데이터플로는 기본 기능을 제공하는 Pro 사용자도 Power BI 서비스에서 사용할 수 있습니다. 다만 더 큰 스토리지, 더 높은 새로 고침 빈도, 작업 영역 간 연결된 엔터티, 대용량 데이터를 위한 컴퓨팅 격리 같은 기능은 대개 확장 가능한 성능과 엔터프라이즈급 새로 고침 일정을 보장하기 위해 Power BI Premium 또는 Premium Per User가 필요합니다.

Power BI 서비스에서 데이터플로는 온-프레미스 데이터와 커넥터를 어떻게 처리합니까?

데이터플로에서 온-프레미스 데이터 원본에 연결하려면 Power BI 서비스에서 온-프레미스 데이터 게이트웨이를 구성하여 사용하고, Power Query Online에서 적절한 커넥터를 선택한 다음 자격 증명을 제공합니다. 이렇게 하면 데이터플로가 온-프레미스 데이터베이스에서 데이터를 추출하여 클라우드로 새로 고침할 수 있으며, 이후 데이터 세트와 보고서에서 이 데이터를 사용할 수 있습니다.

ETL에 데이터플로를 사용하는 것과 Azure Data Factory를 사용하는 것의 차이점은 무엇입니까?

데이터플로는 Power BI와 Power Platform에 통합된 Power Query 변환을 사용하는 비즈니스 중심의 셀프 서비스 ETL을 위해 설계되었으며, 여러 데이터 세트와 보고서에서 재사용하기에 적합합니다. 반면 Azure Data Factory는 데이터 웨어하우스, 빅데이터 처리, 여러 시스템에 걸친 고급 변환을 위한 엔터프라이즈 규모의 오케스트레이션과 복잡한 파이프라인을 대상으로 합니다. 다만 ADLS Gen2에 데이터를 통합할 때는 두 도구를 함께 사용할 수도 있습니다.

여러 데이터플로를 관리하고 작업 영역 간에 변환을 재사용하려면 어떻게 해야 합니까?

Power BI 서비스의 작업 영역 안에서 데이터플로를 구성할 수 있으며, 연결된 엔터티를 사용하면 다른 데이터플로의 테이블을 재사용할 수 있습니다. 기존 데이터플로를 참조하는 새 데이터플로를 만들 수도 있습니다. 또한 작업 영역 권한으로 액세스를 관리하면 여러 Power BI 솔루션과 Power BI 보고서가 데이터플로에서 준비된 공유 데이터를 일관되게 사용할 수 있습니다.

결론

마지막으로 정리하면, 하드코딩된 값에서 벗어나는 것은 Power BI 여정에서 가장 큰 영향을 주는 아키텍처 전환 중 하나입니다. 모듈식 설계, 매개 변수화, Dataflows Gen2를 활용하면 솔루션이 복원력이 있고 유지 관리가 쉬우며 환경 간 배포도 원활하게 진행할 수 있습니다. 최신 데이터 파이프라인을 구축하고 Fabric 환경을 성공적으로 구성하는 방법을 더 깊이 알고 싶다면 관련 팟캐스트 에피소드 Build Reusable Dataflows Gen2 in Microsoft Fabric도 꼭 확인해 보시기 바랍니다. 끝까지 읽어 주셔서 감사하며, 즐거운 리포팅 되시기 바랍니다!

Entities in this article

Power BI Power Query Microsoft Places Fabric workspace Power BI Service Microsoft Fabric Single source of truth Dashboards Power BI Desktop Semantic model

Related articles

RSS