M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions m365con.net

Data Factory in Microsoft Fabric

Product

Pengalaman integrasi data yang terintegrasi di Microsoft Fabric untuk memindahkan dan mengubah data dengan pipeline, Dataflow Gen2, copy job, dan mirroring; Microsoft memposisikannya sebagai penerus Azure Data Factory.

◆ PRODUCTData Factory inMicrosoft FabricM365.FM
Title graphic: Data Factory in Microsoft Fabric (Product)

Sering dibahas bersama

Episode tentang Data Factory in Microsoft Fabric sering juga membahas Fabric notebooks.

Description

Data Factory di Microsoft Fabric adalah layanan integrasi data yang terintegrasi di dalam Microsoft Fabric. Microsoft menggambarkannya sebagai generasi berikutnya dari Azure Data Factory. Tujuannya adalah menyatukan data yang tersebar di berbagai database, file, layanan cloud, dan sistem lama, membersihkannya, lalu menyiapkannya untuk analitik di lakehouse atau data warehouse. Pemindahan dan transformasi data diatur dari satu antarmuka. Untuk menggunakannya diperlukan akun tenant Fabric dengan langganan aktif dan workspace dengan Fabric yang sudah diaktifkan.

Layanan ini terhubung ke lebih dari seratus sumber data. Sumber tersebut mencakup sumber multicloud dan hybrid, yang dapat dijangkau melalui gateway on-premises. Pola ETL dan ELT sama-sama didukung, sehingga tim dapat memilih apakah data ditransformasi sebelum atau sesudah masuk ke target.

Untuk memindahkan data, dokumentasi menyebutkan beberapa opsi. Copy job adalah opsi yang disarankan dan menangani penyalinan massal, penyalinan inkremental, serta penyalinan change data capture. Aktivitas copy di dalam pipeline memberikan kendali manual atas paralelisme. Mirroring menjaga replika database operasional di OneLake dengan jeda hampir real-time. Pemilihan di antara opsi tersebut biasanya bergantung pada apakah yang dibutuhkan adalah pemuatan satu kali, pemuatan inkremental berulang, atau replika yang diperbarui terus-menerus, serta seberapa besar kendali yang diperlukan atas proses penyalinan.

Transformasi dapat dijalankan dengan beberapa cara. Aktivitas pipeline dapat memanggil notebook, Spark job definition, stored procedure, dan skrip SQL. Dataflow Gen2 menawarkan antarmuka low-code untuk membentuk data. Job dbt dapat dijalankan terhadap data warehouse Fabric. Dengan begitu, tim yang berfokus pada kode dan tim low-code dapat bekerja di lingkungan yang sama.

Orkestrasi mencakup jadwal, pemicu berbasis peristiwa, control flow di perancang pipeline, dan DAG Apache Airflow. Copilot dapat membuat pipeline dan dataflow dari perintah bahasa alami serta menjelaskan kesalahan, yang dapat membantu saat membangun atau memecahkan masalah logika integrasi.

Keamanan merupakan tema yang terus muncul dalam liputan M365.FM. Episode "Secure Microsoft Fabric Data Pipelines" menyarankan agar kebijakan pemindahan data ditinjau secara berkala dan diperbarui seiring pertumbuhan organisasi atau munculnya ancaman baru. Episode tersebut menyatakan bahwa keamanan pemindahan data yang kuat melindungi informasi sensitif dan mendukung kepatuhan terhadap regulasi. Episode itu juga membahas autentikasi managed identity untuk mengamankan Data Factory di Microsoft Fabric. Menurut episode tersebut, metode ini memungkinkan pipeline terhubung ke sumber daya tanpa menyimpan kata sandi atau rahasia, sehingga menghindari risiko yang timbul dari kredensial yang ditanamkan secara tetap.

Dalam praktiknya, tim yang bekerja dengan Data Factory di Microsoft Fabric memutuskan metode pemindahan mana yang cocok untuk setiap sumber, pendekatan transformasi mana yang sesuai dengan keterampilan mereka, serta bagaimana mengautentikasi dan mengatur pipeline. Karena layanan ini berada di dalam Fabric, keluarannya langsung masuk ke pengalaman lakehouse dan warehouse yang digunakan oleh bagian lain dari platform untuk analitik.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct
DocumentationData Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Apa itu Data Factory di Microsoft Fabric? (AI)

Ini adalah layanan integrasi data di Microsoft Fabric untuk memindahkan dan mengubah data menggunakan pipeline, Dataflow Gen2, copy job, dan mirroring. Microsoft menggambarkannya sebagai generasi berikutnya dari Azure Data Factory.

Opsi apa saja yang tersedia untuk memindahkan data di Data Factory di Microsoft Fabric? (AI)

Copy job adalah opsi yang disarankan dan menangani penyalinan massal, penyalinan inkremental, serta penyalinan change data capture. Aktivitas copy menawarkan kendali manual atas paralelisme, dan mirroring menjaga replika database operasional di OneLake dengan jeda hampir real-time.

Bagaimana pipeline dapat diamankan menurut M365.FM? (AI)

Episode "Secure Microsoft Fabric Data Pipelines" merekomendasikan autentikasi managed identity, yang menghubungkan ke sumber daya tanpa menyimpan kata sandi atau rahasia di dalam pipeline. Episode ini juga menyarankan agar kebijakan pemindahan data ditinjau secara berkala.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: