Mapping data flows
Product
Transformasi data tanpa kode yang dirancang secara visual di Azure Data Factory dan dijalankan sebagai aktivitas di dalam pipeline pada klaster Apache Spark yang dikelola oleh layanan tersebut.
Juga dibahas
Episode tentang Mapping data flows itu juga membahas Integration runtime dan Azure Data Factory.
Description
Mapping data flows adalah transformasi data yang dirancang secara visual di Azure Data Factory. Menurut Microsoft Learn, halaman ini juga berlaku untuk Azure Synapse Analytics. Fitur ini memungkinkan pengembang membangun logika transformasi tanpa menulis kode. Layanan ini menangani translasi kode, optimasi jalur, dan eksekusi tugas data flow, yang berjalan di klaster Apache Spark berskala besar yang dikelola oleh layanan.
Mapping data flow tidak berjalan sendiri. Ia dieksekusi sebagai aktivitas di dalam pipeline. Pada aktivitas pipeline tersebut, integration runtime dan nilai parameter dipilih. Dengan demikian, data flow dapat memanfaatkan fitur penjadwalan, kontrol alur, dan pemantauan yang sudah ada untuk pipeline Azure Data Factory, tanpa memerlukan mekanisme orkestrasi yang terpisah.
Pengalaman authoring dibangun di sekitar kanvas dengan tiga area utama. Bilah atas menyediakan fungsi untuk menyimpan, memvalidasi, dan melihat JSON atau skrip dari data flow. Sebuah grafik menampilkan alur dari sumber ke sink, sehingga jalur data melalui transformasi terlihat sekilas. Panel konfigurasi muncul untuk transformasi mana pun yang dipilih. Setiap transformasi menyediakan tab untuk pengaturan tersendiri, untuk optimasi partisi, untuk inspeksi metadata hanya-baca, dan untuk pratinjau data.
Ada beberapa batasan praktis yang dicatat dalam dokumentasi. Pratinjau data hanya berfungsi saat mode debug diaktifkan. Tab inspect tidak menampilkan metadata ketika sumber tidak memiliki skema yang didefinisikan, yang lazim terjadi pada schema drift. Siapa pun yang merancang data flow terhadap sumber dengan struktur yang berubah sebaiknya memperkirakan perilaku ini saat memeriksa metadata selama pengembangan.
Dalam situasi yang umum, mapping data flow dipilih ketika logika transformasi sebaiknya dinyatakan secara visual alih-alih dalam kode, sementara pipeline di sekitarnya menangani trigger, penjadwalan, dan pemantauan. Keputusan ini sebagian besar menyangkut di mana pekerjaan transformasi sebaiknya berada: dalam aliran transformasi grafis yang dieksekusi di Spark terkelola, atau di tempat lain dalam platform data. Dokumentasi juga menunjuk Dataflow Gen2 di Microsoft Fabric sebagai teknologi yang sebanding, yang relevan bagi tim yang menimbang Azure Data Factory terhadap Fabric.
Episode M365.FM "Azure Data Factory - Simply Explained" membahas mapping data flow di bawah judul "Transforming Without Code". Episode ini menempatkannya bersama elemen dasar lain dari layanan tersebut: pipeline dan aktivitas, linked service dan dataset, integration runtime, serta trigger dan penjadwalan. Episode yang sama juga membandingkan Azure Data Factory dengan pipeline Fabric dan membahas biaya serta praktik terbaik.
Episode "What Microsoft Fabric Means for Power BI Professionals" menyebut mapping data flow dalam kerangka pembelajaran untuk ingestion dan integrasi data di Fabric. Di sana, mempelajari mapping data flow dan transformasi data dicantumkan bersama dengan menjelajahi konektor dan berlatih ingestion ke OneLake, dengan menggunakan kemampuan Data Factory di Fabric. Hal ini menunjukkan bagaimana konsep tersebut muncul baik dalam konteks Azure Data Factory maupun dalam pembahasan platform data Fabric.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Apa itu mapping data flow di Azure Data Factory? (AI)
Itu adalah transformasi data yang dirancang secara visual dan tidak memerlukan kode. Layanan ini menerjemahkan desain tersebut dan menjalankannya di klaster Apache Spark berskala besar yang dikelolanya.
Bagaimana mapping data flow dijalankan? (AI)
Fitur ini berjalan sebagai aktivitas di dalam pipeline, tempat integration runtime dan nilai parameter dipilih. Dengan begitu, fitur ini dapat memanfaatkan fitur penjadwalan, kontrol alur, dan pemantauan pipeline yang sudah ada.
Mengapa pratinjau data atau metadata kadang tidak ditampilkan? (AI)
Pratinjau data hanya berfungsi saat mode debug diaktifkan. Tab inspect tidak menampilkan metadata ketika sumber tidak memiliki skema yang didefinisikan, yang lazim terjadi pada schema drift.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: