Bagaimana Dataflows Gen2 memengaruhi unit kapasitas Fabric?

Dataflows Gen2 menggunakan kapasitas Fabric yang mendasarinya selama fase komputasi dan staging. Transformasi yang tidak dioptimalkan dengan baik, atau penyegaran berat yang dijalankan pada jam sibuk, dapat menghabiskan alokasi kapasitas Anda dan membatasi beban kerja lainnya.

Dapatkah Dataflows Gen2 menggantikan pipeline Azure Data Factory tradisional?

Untuk persiapan data self-service, ETL ringan, dan transformasi data low-code, Dataflows Gen2 merupakan alternatif yang sangat baik. Namun, untuk orkestrasi enterprise yang kompleks, logika percabangan, dan rekayasa data tingkat lanjut, Azure Data Factory atau Fabric Pipelines tetap menjadi alat yang lebih disarankan.

Dataflows Gen1 vs Gen2 di Microsoft Fabric: Memilih Arsitektur Staging dan Komputasi yang Tepat

Q: Apa perbedaan utama antara Dataflows Gen1 dan Gen2 terkait penyimpanan?

Dataflows Gen1 menyimpan data hasil transformasi di dalam batas penyimpanan internal Power BI, sedangkan Dataflows Gen2 menulis secara langsung ke tabel Delta Parquet berformat terbuka di dalam Lakehouse Microsoft Fabric melalui OneLake.

Q: Mengapa fase staging penting dalam Dataflows Gen2?

Fase staging berfungsi sebagai area penampungan antara untuk transformasi data. Konfigurasi staging yang tepat mencegah pemrosesan data yang berulang, mengoptimalkan query folding, dan memastikan penulisan yang efisien ke Lakehouse tujuan Anda.

Q: Bagaimana Dataflows Gen2 meningkatkan kepercayaan data dalam pelaporan?

Dengan mengotomatisasi pembersihan ekspor manual yang berantakan dan memusatkan transformasi ke dalam tabel Lakehouse yang dapat digunakan kembali, Gen2 menghilangkan solusi manual berbasis Excel dan memastikan data yang konsisten serta andal di seluruh laporan hilir.

By Mirko Peters · 2026-10-28

Bandingkan Dataflows Gen1 dan Gen2 di Microsoft Fabric. Pelajari bagaimana penyimpanan, staging komputasi, dan kapasitas memengaruhi strategi ETL cloud Anda.

Automatically translated with AI from the original post. Read the English original

Cover: Fabric Dataflows Gen2 - Simply Explained

Saat memigrasikan beban kerja ETL ke Microsoft Fabric, memilih arsitektur staging dan komputasi yang tepat antara Dataflows Gen1 dan Gen2 berdampak langsung pada performa pipeline, biaya sumber daya, dan keandalan data. Memahami perbedaan mendasar dalam alokasi komputasi dan penanganan penyimpanan membantu mencegah hambatan arsitektur yang mahal sebelum tim Anda memperluas laporannya.

Poin Penting

Dataflows Gen2 menghadirkan integrasi native dengan OneLake, yang secara fundamental mengubah cara data di-staging dan disimpan dibandingkan Gen1.
Memilih opsi komputasi yang tidak tepat saat authoring dapat menyebabkan pembatasan kapasitas yang tidak terduga dan penurunan performa di ruang kerja Fabric Anda.
Gen1 sangat bergantung pada mekanisme penyimpanan eksternal, sedangkan Gen2 menulis langsung ke tabel Lakehouse Fabric sebagai tujuan default.
Konfigurasi staging yang tepat mencegah transformasi data yang berulang dan mengoptimalkan penyegaran model semantik Power BI Anda.
Menyelaraskan strategi ETL Anda dengan unit kapasitas Fabric memastikan organisasi Anda terhindar dari biaya komputasi yang tidak terkendali.

Memahami Pergeseran Arsitektur di Fabric

Transisi dari dataflow Power BI lama ke dataflow Microsoft Fabric bukan sekadar latihan ganti nama; ini merupakan perombakan arsitektur total atas cara data cloud diserap, ditransformasi, dan disimpan. Pada dunia Gen1 yang lama, dataflow terutama dirancang untuk memasok model semantik Power BI. Dataflow beroperasi dalam ekosistem yang agak terisolasi, di mana transformasi data dilakukan di Power Query Online dan keluarannya disimpan di penyimpanan internal yang sepenuhnya dikelola oleh layanan Power BI.

Dengan hadirnya Microsoft Fabric, Dataflows Gen2 dibangun dari awal untuk memanfaatkan OneLake sebagai repositori data pusat. Ini berarti setiap transformasi yang Anda terapkan melalui Power Query Online tidak lagi terkurung di dalam wadah model yang bersifat proprietary. Sebaliknya, Gen2 menjembatani kesenjangan antara persiapan data self-service tradisional dan rekayasa data enterprise dengan menulis langsung ke tabel Delta Parquet berformat terbuka di dalam Lakehouse Fabric. Perubahan mendasar ini mengubah cara arsitek cloud mendekati staging data, pemanfaatan komputasi, dan kepercayaan pelaporan hilir.

Pergeseran Paradigma Penyimpanan

Dalam penyiapan lama, jika seorang business analyst perlu membersihkan ekspor Excel, menghapus baris kosong, dan memformat tanggal, data tersebut tetap berada di dalam batas penyimpanan dataflow. Jika departemen lain ingin menggunakan kumpulan data yang sudah dibersihkan itu, mereka sering harus mengambil dari laporan atau membuat ulang query-nya. Dataflows Gen2 mengatasi hal ini dengan menjadikan Lakehouse sebagai tujuan utama. Begitu dataflow Anda dieksekusi, data yang sudah dibersihkan langsung tersedia sebagai tabel Delta, siap digunakan untuk notebook Spark, endpoint analitik SQL, dan pelaporan DirectLake langsung tanpa perlu pemindahan data tambahan.

Keputusan Compute dan Staging yang Sering Terlewat Tim

Salah satu keputusan arsitektur paling krusial yang dihadapi engineer saat membangun Dataflows Gen2 adalah mengelola tahap compute dan staging. Berbeda dengan Gen1, yang pengelolaan compute-nya sebagian besar tersembunyi dan kadang tidak transparan, Gen2 berjalan di atas Fabric Capacity Units (CU) yang mendasarinya. Jika organisasi Anda tidak memantau dengan cermat kapan dan bagaimana data di-staging selama tahap evaluasi query, Anda berisiko menghabiskan alokasi kapasitas lebih cepat dari perkiraan.

Saat Anda menerapkan transformasi yang kompleks, Power Query mengevaluasi apakah langkah-langkah tersebut dapat di-fold kembali ke sumber data atau harus dieksekusi secara lokal di dalam mesin dataflow. Di Gen2, area staging berfungsi sebagai zona pendaratan perantara. Jika dikonfigurasi dengan keliru, kumpulan data besar dapat berulang kali dimuat ke memori, diproses, dan ditulis kembali, sehingga menimbulkan beban compute yang tidak perlu. Arsitek perlu mengevaluasi sistem sumber, latensi jaringan, dan kompleksitas transformasi untuk memutuskan apakah pemrosesan sebaiknya didorong ke database sumber atau diserahkan kepada Fabric untuk menangani beban berat.

Mengoptimalkan Capacity Units untuk Beban Kerja ETL

Fabric capacity adalah kumpulan sumber daya bersama di seluruh organisasi Anda. Ketika Dataflow Gen2 yang kurang dioptimalkan menjalankan refresh terjadwal pada jam sibuk, ia bisa menghabiskan kapasitas hingga memicu throttling yang memengaruhi rendering laporan Power BI bagi pengguna eksekutif. Untuk mencegahnya, tim sebaiknya mengisolasi pekerjaan ETL berat ke workspace khusus dengan reservasi kapasitas yang sesuai, atau menjadwalkannya di luar jam sibuk. Memahami bagaimana pekerjaan compute latar belakang berinteraksi dengan beban kerja interaktif sangat penting untuk menjaga stabilitas lingkungan Fabric.

Membangun Kepercayaan Melalui Arsitektur yang Konsisten

Tujuan utama dari peningkatan pipeline data Anda adalah menghilangkan perbaikan manual di Excel yang selama ini membebani pelaporan bisnis. Ketika laporan gagal, hal itu jarang disebabkan oleh kurangnya data; hampir selalu disebabkan oleh kurangnya kepercayaan. Ketika pengguna melihat angka yang bertentangan karena satu laporan mengambil dari CSV mentah dan laporan lain mengambil dari dataflow lama, adopsi akan anjlok.

Dengan menstandarkan penggunaan Dataflows Gen2 dan memanfaatkan arsitektur Lakehouse, organisasi membangun satu sumber kebenaran. Tanggal yang sudah dibersihkan, nama kolom yang distandarkan, dan logika bisnis yang tervalidasi cukup didefinisikan sekali di dataflow dan disebarkan secara otomatis ke hilir. Hal ini mengurangi kesalahan manusia, menghilangkan ketergantungan pada desktop individu, dan memastikan bahwa ketika pimpinan membuka dasbor, angka yang mendasarinya dapat diandalkan dan siap untuk diaudit.

Kesimpulan

Bermigrasi dan membangun dengan Dataflows Gen2 menuntut perubahan cara berpikir tentang penyimpanan cloud, anggaran compute, dan tata kelola data. Dengan memulai dari satu proses spreadsheet yang berulang dan berantakan, lalu memetakannya dengan benar ke dalam Fabric Lakehouse, tim Anda dapat membangun pipeline yang skalabel dan tahan lama. Untuk mempelajari konsep dasar di balik evolusi ini dan mendengar wawasan para ahli tentang strategi cloud Microsoft modern, pastikan Anda Mendengarkan episode lengkapnya di M365 FM Podcast.

Pertanyaan Umum

Apa perbedaan utama antara Dataflows Gen1 dan Gen2 terkait penyimpanan?

Dataflows Gen1 menyimpan data yang telah ditransformasi di dalam batas penyimpanan internal Power BI, sedangkan Dataflows Gen2 menulis secara native ke tabel Delta Parquet berformat terbuka di dalam Microsoft Fabric Lakehouse melalui OneLake.

Bagaimana Dataflows Gen2 memengaruhi Fabric capacity units?

Dataflows Gen2 menggunakan Fabric capacity yang mendasarinya selama tahap compute dan staging. Transformasi yang kurang dioptimalkan atau menjalankan refresh berat pada jam sibuk dapat menghabiskan alokasi kapasitas Anda dan melakukan throttling pada beban kerja lainnya.

Apakah Dataflows Gen2 dapat menggantikan pipeline Azure Data Factory tradisional?

Untuk persiapan data self-service, ETL ringan, dan transformasi data low-code, Dataflows Gen2 merupakan alternatif yang sangat baik. Namun, untuk orkestrasi perusahaan yang kompleks, logika percabangan, dan rekayasa data tingkat lanjut, Azure Data Factory atau Fabric Pipelines tetap menjadi alat yang lebih disarankan.

Mengapa tahap staging penting dalam Dataflows Gen2?

Tahap staging berfungsi sebagai area penampungan sementara untuk transformasi data. Konfigurasi staging yang tepat mencegah pemrosesan data yang berulang, mengoptimalkan query folding, dan memastikan penulisan data ke Lakehouse tujuan berjalan efisien.

Bagaimana Dataflows Gen2 meningkatkan kepercayaan data dalam pelaporan?

Dengan mengotomatiskan pembersihan ekspor manual yang berantakan dan memusatkan transformasi ke dalam tabel Lakehouse yang dapat digunakan kembali, Gen2 menghilangkan cara-cara manual berbasis Excel dan memastikan data yang konsisten serta andal di seluruh laporan hilir.