Mapping data flows
Product
Azure Data Factory에서 파이프라인 내 액티비티로 실행되며, 서비스가 관리하는 Apache Spark 클러스터에서 동작하는 시각적으로 설계된 노코드 데이터 변환입니다.
함께 다룬 주제
Mapping data flows 관련 에피소드에서는 Integration runtime 및 Azure Data Factory도 다룹니다.
Description
매핑 데이터 흐름(Mapping data flows)은 Azure Data Factory에서 시각적으로 설계하는 데이터 변환입니다. Microsoft Learn에 따르면, 이 페이지는 Azure Synapse Analytics에도 적용됩니다. 개발자는 코드를 작성하지 않고도 변환 로직을 구축할 수 있습니다. 서비스가 코드 변환, 경로 최적화, 그리고 서비스가 관리하는 확장된 Apache Spark 클러스터에서 실행되는 데이터 흐름 작업의 실행을 담당합니다.
매핑 데이터 흐름은 단독으로 실행되지 않습니다. 파이프라인 안의 액티비티로 실행됩니다. 이 파이프라인 액티비티에서 통합 런타임과 매개 변수 값이 선택됩니다. 따라서 데이터 흐름은 오케스트레이션을 위한 별도의 메커니즘이 필요하지 않고, Azure Data Factory 파이프라인에 이미 있는 예약, 제어 흐름 및 모니터링 기능을 사용할 수 있습니다.
작성 환경은 세 가지 주요 영역으로 구성된 캔버스를 중심으로 만들어져 있습니다. 상단 막대에는 데이터 흐름을 저장, 검증하고 JSON 또는 스크립트를 보는 기능이 있습니다. 그래프는 원본에서 싱크까지의 스트림을 보여 주어, 변환을 거치는 데이터의 경로를 한눈에 파악할 수 있게 합니다. 선택한 변환에 대해서는 구성 패널이 나타납니다. 각 변환에는 고유 설정, 파티션 최적화, 읽기 전용 메타데이터 검사, 데이터 미리 보기를 위한 탭이 제공됩니다.
문서에는 몇 가지 실질적인 제약 사항이 기재되어 있습니다. 데이터 미리 보기는 디버그 모드가 켜져 있을 때에만 작동합니다. 원본에 정의된 스키마가 없으면 검사 탭에 메타데이터가 표시되지 않으며, 이는 스키마 드리프트에서 흔히 발생합니다. 구조가 변하는 원본을 대상으로 흐름을 설계하는 경우, 개발 중 메타데이터를 검사할 때 이러한 동작을 예상해야 합니다.
일반적인 상황에서 매핑 데이터 흐름은 변환 로직을 코드 대신 시각적으로 표현해야 할 때 선택되며, 주변의 파이프라인은 트리거, 예약 및 모니터링을 담당합니다. 결정은 주로 변환 작업이 어디에 있어야 하는지에 관한 것입니다. 즉, 관리형 Spark에서 실행되는 그래픽 기반 변환 스트림에 둘지, 아니면 데이터 플랫폼의 다른 곳에 둘지를 정하는 것입니다. 문서는 또한 Microsoft Fabric의 Dataflow Gen2를 비슷한 기술로 언급하고 있으며, 이는 Azure Data Factory와 Fabric을 비교하는 팀에게 관련이 있습니다.
M365.FM 에피소드 "Azure Data Factory - Simply Explained"는 "코드 없이 변환하기(Transforming Without Code)"라는 제목 아래 매핑 데이터 흐름을 다룹니다. 이 에피소드는 매핑 데이터 흐름을 서비스의 다른 기본 구성 요소, 즉 파이프라인과 액티비티, 연결된 서비스와 데이터 세트, 통합 런타임, 트리거와 예약과 함께 소개합니다. 같은 에피소드에서는 Azure Data Factory와 Fabric 파이프라인을 비교하고 비용과 모범 사례도 논의합니다.
에피소드 "What Microsoft Fabric Means for Power BI Professionals"는 Fabric의 데이터 수집 및 통합을 위한 학습 개요에서 매핑 데이터 흐름을 언급합니다. 여기에서는 매핑 데이터 흐름 및 데이터 변환 학습이, 커넥터 탐색 및 OneLake로의 수집 연습과 함께, Fabric의 Data Factory 기능을 사용하는 항목으로 나열됩니다. 이는 이 개념이 Azure Data Factory 맥락과 Fabric 데이터 플랫폼에 대한 논의 양쪽에 모두 나타난다는 것을 보여 줍니다.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Azure Data Factory의 매핑 데이터 흐름이란 무엇입니까? (AI)
코드가 필요 없는 시각적으로 설계된 데이터 변환입니다. 서비스는 이 설계를 변환하여 서비스가 관리하는 확장된 Apache Spark 클러스터에서 실행합니다.
매핑 데이터 흐름은 어떻게 실행됩니까? (AI)
파이프라인 안의 액티비티로 실행되며, 이때 통합 런타임과 매개 변수 값이 선택됩니다. 이를 통해 파이프라인에 이미 있는 예약, 제어 흐름 및 모니터링 기능을 사용할 수 있습니다.
데이터 미리 보기나 메타데이터가 때때로 표시되지 않는 이유는 무엇입니까? (AI)
데이터 미리 보기는 디버그 모드가 켜져 있을 때에만 작동합니다. 원본에 정의된 스키마가 없으면 검사 탭에 메타데이터가 표시되지 않으며, 이는 스키마 드리프트에서 흔히 발생합니다.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: