Mapping data flows
Product
Azure Data Factory内でパイプラインのアクティビティとして実行される、ビジュアルに設計するノーコードのデータ変換で、サービスが管理するApache Sparkクラスター上で動作します。
あわせて取り上げられたテーマ
Mapping data flowsに関するエピソードでは、Integration runtimeとAzure Data Factoryも取り上げられています。
Description
マッピングデータフローは、Azure Data Factoryにおける視覚的に設計されたデータ変換です。Microsoft Learnによれば、このページはAzure Synapse Analyticsにも適用されます。開発者はコードを書かずに変換ロジックを構築できます。サービスがコード変換、パスの最適化、データフローのジョブの実行を処理します。ジョブは、サービスが管理するスケールアウトされたApache Sparkクラスター上で実行されます。
マッピングデータフローは単独では実行されません。パイプライン内のアクティビティとして実行されます。そのパイプラインアクティビティで、統合ランタイムとパラメーター値が選択されます。このため、データフローは、オーケストレーションのために別の仕組みを必要とせず、Azure Data Factoryパイプラインに既に備わっているスケジュール設定、制御フロー、監視機能を利用できます。
オーサリング環境は、3つの主要な領域からなるキャンバスを中心に構成されています。上部のバーには、データフローの保存、検証、JSONまたはスクリプトの表示の機能があります。グラフはソースからシンクまでのストリームを表示するため、変換を通じたデータの流れが一目で分かります。選択された変換ごとに構成パネルが表示されます。各変換には、その設定、パーティションの最適化、読み取り専用のメタデータ検査、データプレビューのためのタブがあります。
ドキュメントには、いくつかの実務上の制約が記載されています。データプレビューは、デバッグモードがオンの場合にのみ機能します。ソースに定義されたスキーマがない場合、検査タブにはメタデータが表示されません。これはスキーマドリフトの場合によくあることです。構造が変化するソースに対してフローを設計する場合、開発中にメタデータを検査するとこの動作が見られることを想定しておくべきです。
一般的な状況では、トリガー、スケジュール設定、監視を周囲のパイプラインが担う一方で、変換ロジックをコードではなく視覚的に表現したい場合にマッピングデータフローが選ばれます。判断は主に、変換作業をどこに置くかに関するものです。すなわち、マネージドSpark上で実行されるグラフィカルな変換ストリームとするのか、データプラットフォームの他の場所とするのかです。ドキュメントでは、Microsoft FabricのDataflow Gen2も類似の技術として挙げられており、Azure Data FactoryとFabricのどちらを選ぶか検討しているチームにとって関連があります。
M365.FMのエピソード「Azure Data Factory - Simply Explained」では、「Transforming Without Code」という見出しのもとでマッピングデータフローを取り上げています。サービスの他の基本要素、すなわちパイプラインとアクティビティ、リンクサービスとデータセット、統合ランタイム、トリガーとスケジュール設定と並べて紹介しています。同じエピソードでは、Azure Data FactoryとFabricパイプラインの比較も行われ、コストとベストプラクティスについても議論されています。
エピソード「What Microsoft Fabric Means for Power BI Professionals」では、Fabricにおけるデータ取り込みと統合の学習アウトラインの中でマッピングデータフローに言及しています。そこでは、マッピングデータフローとデータ変換の学習が、コネクタの調査やOneLakeへの取り込みの練習と並べて挙げられ、FabricのData Factory機能を利用するものとされています。これにより、この概念がAzure Data Factoryの文脈と、Fabricデータプラットフォームに関する議論の両方に現れていることが分かります。
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Azure Data Factoryのマッピングデータフローとは何ですか? (AI)
視覚的に設計され、コードを必要としないデータ変換です。サービスが設計を変換し、サービスが管理するスケールアウトされたApache Sparkクラスター上で実行します。
マッピングデータフローはどのように実行されますか? (AI)
パイプライン内のアクティビティとして実行され、そこで統合ランタイムとパラメーター値が選択されます。これにより、パイプラインの既存のスケジュール設定、制御フロー、監視機能を利用できます。
データプレビューやメタデータが表示されないことがあるのはなぜですか? (AI)
データプレビューは、デバッグモードがオンの場合にのみ機能します。ソースに定義されたスキーマがない場合、検査タブにはメタデータが表示されません。これはスキーマドリフトの場合によくあることです。
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: