Data Factory in Microsoft Fabric
Product
Microsoft Fabric内に組み込まれたデータ統合エクスペリエンスで、パイプライン、Dataflow Gen2、コピージョブ、ミラーリングを使ってデータの移動と変換を行います。Microsoftは、Azure Data Factoryの後継として位置づけています。
よく一緒に取り上げられるテーマ
Data Factory in Microsoft Fabricに関するエピソードでは、Fabric notebooksもよく取り上げられます。
Description
Microsoft FabricのData Factoryは、Microsoft Fabricに組み込まれたデータ統合サービスです。Microsoftはこれを、Azure Data Factoryの次世代版として説明しています。その目的は、データベース、ファイル、クラウドサービス、レガシーシステムなどに分散したデータをまとめ、クレンジングして、レイクハウスやデータウェアハウスでの分析に備えることです。データの移動と変換は単一のインターフェースから管理されます。利用にはアクティブなサブスクリプションを持つFabricテナントアカウントと、Fabricが有効化されたワークスペースが必要です。
このサービスは100を超えるデータソースに接続できます。マルチクラウドやハイブリッドのソースも含まれ、オンプレミスゲートウェイを経由して接続できます。ETLとELTの両方のパターンに対応しているため、チームはデータを格納先に取り込む前に変換するか、取り込んだ後に変換するかを選べます。
データの移動については、ドキュメントにいくつかの方法が挙げられています。コピージョブが推奨の方法で、一括コピー、増分コピー、変更データキャプチャのコピーを処理します。パイプライン内のコピーアクティビティでは、並列処理を手動で制御できます。ミラーリングは、運用データベースのほぼリアルタイムのレプリカをOneLake内に維持します。どの方法を選ぶかは、一度きりの読み込みが必要か、定期的な増分読み込みが必要か、継続的に更新されるレプリカが必要か、そしてコピー処理をどの程度制御したいかによって決まるのが一般的です。
変換はいくつかの方法で実行できます。パイプラインのアクティビティからは、ノートブック、Sparkジョブ定義、ストアドプロシージャ、SQLスクリプトを呼び出せます。Dataflow Gen2は、データを整形するためのローコードのインターフェースを提供します。dbtジョブはFabricのデータウェアハウスに対して実行できます。これにより、コードファーストのチームとローコードのチームが同じ環境で作業できます。
オーケストレーションには、スケジュール、イベントベースのトリガー、パイプラインデザイナーでの制御フロー、Apache Airflow DAGが含まれます。Copilotは自然言語のプロンプトからパイプラインやデータフローを作成でき、エラーの説明も行えるため、統合ロジックの構築やトラブルシューティングに役立ちます。
セキュリティは、M365.FMの解説で繰り返し取り上げられるテーマです。エピソード「Secure Microsoft Fabric Data Pipelines」では、データ移動のポリシーを定期的に見直し、組織の成長や新たな脅威の出現に応じて更新することを勧めています。強力なデータ移動のセキュリティは機密情報を保護し、規制への準拠を支えると述べています。このエピソードでは、Microsoft Fabricのデータパイプラインを保護するためのマネージドID認証についても取り上げています。エピソードによると、この方法を使えばパスワードやシークレットを保存せずにパイプラインをリソースに接続でき、資格情報のハードコーディングに伴うリスクを避けられます。
実際には、Data Factory in Microsoft Fabricを使うチームは、各ソースにどの移動方法が適しているか、自分たちのスキルにどの変換アプローチが合うか、パイプラインの認証とガバナンスをどう行うかを決めます。このサービスはFabric内にあるため、その出力はプラットフォームの他の部分が分析に使用するレイクハウスやウェアハウスのエクスペリエンスに直接供給されます。
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|---|
| Documentation | Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Microsoft FabricのData Factoryとは何ですか? (AI)
Microsoft Fabricにおけるデータ統合サービスで、パイプライン、Dataflow Gen2、コピージョブ、ミラーリングを使ってデータの移動と変換を行います。Microsoftはこれを、Azure Data Factoryの次世代版として説明しています。
Microsoft FabricのData Factoryでデータを移動する方法にはどのようなものがありますか? (AI)
コピージョブが推奨の方法で、一括、増分、変更データキャプチャのコピーを処理します。コピーアクティビティでは並列処理を手動で制御でき、ミラーリングは運用データベースのほぼリアルタイムのレプリカをOneLake内に維持します。
M365.FMによると、パイプラインはどのように保護できますか? (AI)
エピソード「Secure Microsoft Fabric Data Pipelines」では、マネージドID認証の利用を勧めています。これにより、パイプラインにパスワードやシークレットを保存せずにリソースへ接続できます。また、データ移動のポリシーを定期的に見直すことも勧めています。
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: