M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions m365con.net

Mapping data flows

Product

Azure Data Factory内でパイプラインのアクティビティとして実行される、ビジュアルに設計するノーコードのデータ変換で、サービスが管理するApache Sparkクラスター上で動作します。

◆ PRODUCTMapping data flowsM365.FM
Title graphic: Mapping data flows (Product)

あわせて取り上げられたテーマ

Mapping data flowsに関するエピソードでは、Integration runtimeとAzure Data Factoryも取り上げられています。

Description

マッピングデータフローは、Azure Data Factoryにおける視覚的に設計されたデータ変換です。Microsoft Learnによれば、このページはAzure Synapse Analyticsにも適用されます。開発者はコードを書かずに変換ロジックを構築できます。サービスがコード変換、パスの最適化、データフローのジョブの実行を処理します。ジョブは、サービスが管理するスケールアウトされたApache Sparkクラスター上で実行されます。

マッピングデータフローは単独では実行されません。パイプライン内のアクティビティとして実行されます。そのパイプラインアクティビティで、統合ランタイムとパラメーター値が選択されます。このため、データフローは、オーケストレーションのために別の仕組みを必要とせず、Azure Data Factoryパイプラインに既に備わっているスケジュール設定、制御フロー、監視機能を利用できます。

オーサリング環境は、3つの主要な領域からなるキャンバスを中心に構成されています。上部のバーには、データフローの保存、検証、JSONまたはスクリプトの表示の機能があります。グラフはソースからシンクまでのストリームを表示するため、変換を通じたデータの流れが一目で分かります。選択された変換ごとに構成パネルが表示されます。各変換には、その設定、パーティションの最適化、読み取り専用のメタデータ検査、データプレビューのためのタブがあります。

ドキュメントには、いくつかの実務上の制約が記載されています。データプレビューは、デバッグモードがオンの場合にのみ機能します。ソースに定義されたスキーマがない場合、検査タブにはメタデータが表示されません。これはスキーマドリフトの場合によくあることです。構造が変化するソースに対してフローを設計する場合、開発中にメタデータを検査するとこの動作が見られることを想定しておくべきです。

一般的な状況では、トリガー、スケジュール設定、監視を周囲のパイプラインが担う一方で、変換ロジックをコードではなく視覚的に表現したい場合にマッピングデータフローが選ばれます。判断は主に、変換作業をどこに置くかに関するものです。すなわち、マネージドSpark上で実行されるグラフィカルな変換ストリームとするのか、データプラットフォームの他の場所とするのかです。ドキュメントでは、Microsoft FabricのDataflow Gen2も類似の技術として挙げられており、Azure Data FactoryとFabricのどちらを選ぶか検討しているチームにとって関連があります。

M365.FMのエピソード「Azure Data Factory - Simply Explained」では、「Transforming Without Code」という見出しのもとでマッピングデータフローを取り上げています。サービスの他の基本要素、すなわちパイプラインとアクティビティ、リンクサービスとデータセット、統合ランタイム、トリガーとスケジュール設定と並べて紹介しています。同じエピソードでは、Azure Data FactoryとFabricパイプラインの比較も行われ、コストとベストプラクティスについても議論されています。

エピソード「What Microsoft Fabric Means for Power BI Professionals」では、Fabricにおけるデータ取り込みと統合の学習アウトラインの中でマッピングデータフローに言及しています。そこでは、マッピングデータフローとデータ変換の学習が、コネクタの調査やOneLakeへの取り込みの練習と並べて挙げられ、FabricのData Factory機能を利用するものとされています。これにより、この概念がAzure Data Factoryの文脈と、Fabricデータプラットフォームに関する議論の両方に現れていることが分かります。

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Azure Data Factoryのマッピングデータフローとは何ですか? (AI)

視覚的に設計され、コードを必要としないデータ変換です。サービスが設計を変換し、サービスが管理するスケールアウトされたApache Sparkクラスター上で実行します。

マッピングデータフローはどのように実行されますか? (AI)

パイプライン内のアクティビティとして実行され、そこで統合ランタイムとパラメーター値が選択されます。これにより、パイプラインの既存のスケジュール設定、制御フロー、監視機能を利用できます。

データプレビューやメタデータが表示されないことがあるのはなぜですか? (AI)

データプレビューは、デバッグモードがオンの場合にのみ機能します。ソースに定義されたスキーマがない場合、検査タブにはメタデータが表示されません。これはスキーマドリフトの場合によくあることです。

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: