Notebook Microsoft Fabric dan Lakehouse

By Mirko Peters · 2025-11-21 · Updated 2026-07-22

Bangun alur kerja transformasi data dan machine learning dengan notebook Microsoft Fabric dan lakehouse untuk analitik yang dapat diskalakan.

Automatically translated with AI from the original post. Read the English original

Alur kerja ETL tradisional bisa lambat. Alur kerja ini memiliki banyak langkah manual dan membutuhkan perawatan yang besar. Berikut beberapa masalah umum:

Saat Anda menggunakan notebook untuk transformasi data, Anda memiliki satu tempat utama untuk data Anda. Pola Bronze-Silver-Gold dengan Spark dan Lakehouse meningkatkan kualitas data Anda. Pola ini juga membantu Anda melacak asal-usul data. Anda mendapatkan umpan balik yang jelas dan dapat berkolaborasi dengan tim. Hal ini membantu semua orang tetap sejalan.

Poin Penting

• Gunakan Notebook Fabric untuk transformasi data agar pekerjaan tetap terpusat. Hal ini membantu Anda melihat perubahan dan bekerja sama dengan tim.

• Terapkan pola Bronze-Silver-Gold untuk mengelompokkan data Anda. Cara ini menjaga keamanan data mentah. Cara ini juga membantu Anda membersihkan data dan menyiapkannya untuk dianalisis.

• Otomatiskan alur kerja untuk menghemat waktu dan mencegah kesalahan. Alat seperti dbt Cloud dan Prefect membantu Anda merencanakan dan memantau langkah-langkah data.

• Gunakan Git untuk kontrol versi di notebook Anda. Cara ini memungkinkan Anda melihat perubahan, bekerja bersama orang lain, dan kembali ke versi lama jika diperlukan.

• Jaga keamanan data dengan kontrol akses yang kuat. Gunakan keamanan tingkat baris dan kolom untuk melindungi data pribadi serta mengontrol siapa yang dapat melihat atau mengubahnya.

Mengapa Beralih ke Transformasi Data Berbasis Kode

Tantangan Alur Kerja ETL Tradisional

Mungkin Anda pernah menggunakan Power Query, Excel, atau skrip untuk transformasi data. Alat-alat ini dapat menimbulkan masalah ketika data semakin besar. Anda mungkin menemukan file bernama "final_v2_REAL.xlsx" dan tidak tahu mana yang benar. Pekerjaan manual membuat sulit untuk melihat apa yang berubah. Pipeline dapat rusak jika data berubah. Memperbaiki masalah ini membutuhkan banyak waktu dan tenaga.

Jika Anda menggunakan banyak alat, Anda bisa lupa dari mana data berasal. Anda juga mungkin membuat kesalahan yang sulit ditemukan.

Manfaat Notebook Fabric dan Lakehouse

Notebook Fabric dan Lakehouse membantu Anda melakukan transformasi data dengan lebih baik. Anda menulis kode di satu tempat. Anda dapat menggunakan Git untuk mencatat setiap perubahan. Hal ini memudahkan Anda memeriksa pekerjaan dan mengulanginya. Anda dapat bekerja dengan jutaan baris tanpa memindahkan data ke alat lain.

Berikut perbedaan notebook berbasis kode dengan dukungan Git dibandingkan alat ETL lama:

Anda dapat menetapkan aturan bisnis di satu tempat. Tim dapat menggunakan aturan ini di dasbor dan laporan. Hal ini membantu mencegah kesalahan dan menjaga semua orang tetap bekerja sama. Hal ini juga membantu tim Anda menjelajahi data dengan aman.

• Lapisan berbasis kode memungkinkan Anda:

  • Melacak setiap langkah dalam pipeline Anda.

  • Menggunakan logika yang sama di banyak proyek.

  • Bertumbuh seiring membesarnya data Anda.

Pergeseran Pola Pikir: Notebook sebagai Lapisan Transformasi

Anggaplah notebook sebagai tempat utama untuk transformasi data. Notebook adalah sumber kebenaran tunggal Anda. Anda dapat memeriksa, menguji, dan membagikan pekerjaan Anda. Anda dapat menggunakan parameter untuk beralih antara pengujian dan penggunaan sungguhan. Dengan cara ini, Anda memiliki kendali lebih besar dan dapat mempercayai data Anda.

Anggaplah notebook Anda sebagai rencana untuk data Anda. Anda akan melihat apa yang terjadi di setiap langkah.

Pola Transformasi Data Bronze-Silver-Gold

Pola Bronze-Silver-Gold membantu Anda mengatur proses transformasi data. Anda memindahkan data melalui tiga tahap yang jelas. Setiap tahap memiliki tugas khusus. Pola ini membuat pipeline data lebih mudah dikelola dan lebih andal.

Bronze: Ingesti Data Mentah

Anda memulai dengan lapisan Bronze. Di sini, Anda mengambil data mentah dari berbagai sumber. Anda belum mengubah data tersebut. Anda hanya mengumpulkan dan menyimpannya dengan aman. Langkah ini menjaga data asli Anda untuk digunakan di masa depan.

Anda dapat menggunakan beberapa metode untuk memuat data ke lapisan Bronze. Tabel di bawah ini menunjukkan beberapa cara yang umum digunakan:

Selalu terapkan skema saat Anda memuat data. Ini membantu Anda menemukan kesalahan sejak dini. Jika ada baris yang rusak, Anda dapat memisahkannya ke karantina. Dengan begitu, data Anda tetap bersih sejak awal.

Tips: Selalu simpan salinan data mentah Anda. Anda mungkin membutuhkannya untuk memperbaiki masalah atau memeriksa ulang pekerjaan Anda nanti.

Silver: Pembersihan Data dan Konformitas

Lapisan Silver adalah tempat Anda membersihkan dan menstandarkan data. Anda memperbaiki kesalahan, menghapus duplikat, dan memastikan data sesuai dengan aturan bisnis Anda. Anda juga menggabungkan tabel dan mengisi nilai yang hilang jika diperlukan.

Di lapisan ini, Anda sebaiknya:

• Memastikan setiap kolom memiliki tipe data yang tepat.

• Menghapus atau memperbaiki baris yang tidak sesuai dengan aturan Anda.

• Menghapus duplikat rekaman agar tidak ada yang terhitung dua kali.

• Menangani data yang berubah secara perlahan, seperti alamat pelanggan.

Anda menggunakan alat seperti PySpark atau pandas di notebook Anda. Ini memungkinkan Anda menulis langkah yang jelas untuk setiap perubahan. Anda dapat menguji pekerjaan Anda dan memastikannya sudah benar sebelum melanjutkan.

Catatan: Gunakan pemeriksaan canary setelah setiap langkah besar. Misalnya, periksa jumlah baris atau cari nilai kosong yang terlalu banyak. Ini membantu Anda mendeteksi masalah sejak dini.

Gold: Rekayasa Fitur untuk Analitik dan ML

Lapisan Gold menyiapkan data Anda untuk analitik dan pembelajaran mesin. Anda membuat fitur baru, seperti time lag atau kelompok pelanggan. Anda juga membangun tabel yang siap digunakan untuk dasbor atau model.

Di lapisan ini, Anda sebaiknya:

• Merekayasa fitur yang membantu bisnis Anda menjawab pertanyaan.

• Mempartisi tabel agar kueri berjalan lebih cepat.

• Gunakan tabel Delta agar Anda dapat melacak perubahan dan melakukan rollback jika diperlukan.

Selalu tulis data secara idempoten. Artinya, Anda dapat menjalankan pipeline berkali-kali tanpa membuat kesalahan atau menghitung ganda. Anda dapat menggunakan snapshot Delta untuk menyimpan versi tabel Anda. Jika terjadi kesalahan, Anda dapat kembali ke salinan yang aman.

Ingat: Lapisan Gold adalah tempat data Anda menjadi paling bernilai. Berhati-hatilah dalam memeriksa pekerjaan Anda dan jaga agar tetap andal.

Dengan mengikuti pola Bronze-Silver-Gold, Anda membangun pipeline Transformasi Data yang kokoh. Anda menjaga data tetap aman, bersih, dan siap untuk setiap proyek analisis atau pembelajaran mesin.

Mengorkestrasi Transformasi Data dengan Notebook dan Spark

Membaca dan Menulis Tabel Delta

Anda dapat menggunakan Spark di Fabric Notebook untuk bekerja dengan tabel Delta. Ini memungkinkan Anda memproses jutaan baris dengan sangat cepat. Anda tidak perlu memindahkan data atau memperbaiki sesuatu secara manual. Jika Anda mengaktifkan Native Execution Engine, pekerjaan Anda dapat berjalan hingga lima kali lebih cepat. Anda dapat mengubah pengaturan seperti spark.sql.files.maxPartitionBytes dan spark.sql.shuffle.partitions agar sesuai dengan ukuran data Anda. Auto Compaction membantu menangani banyak penulisan kecil. Fitur ini membuat tabel Anda lebih cepat dicari. Banyak perusahaan melaporkan siklus ELT menjadi 30% lebih cepat dan kueri berjalan 1,2 kali lebih baik dengan melakukan hal-hal ini.

Tips: Tabel Delta menyimpan data Anda dalam bentuk versi. Anda dapat membatalkan perubahan jika Anda membuat kesalahan.

Parameterisasi dan Manajemen Lingkungan

Anda sebaiknya menggunakan parameter di notebook Anda. Ini memungkinkan Anda beralih antara pengujian dan pekerjaan sungguhan. Ini membantu Anda menghindari kesalahan dan menjaga keamanan data Anda. Buat rencana untuk memisahkan data uji dari data sungguhan. Anda juga dapat menggunakan rencana katalog untuk mengurutkan metadata Anda dan melindungi informasi pribadi. Dengan begitu, lebih mudah mengontrol siapa yang dapat melihat apa dan mematuhi kebijakan perusahaan.

• Gunakan parameter untuk:

  • Jalur file

  • ID workspace

  • Feature flag

Catatan: Parameter membuat notebook Anda dapat digunakan oleh banyak tim sekaligus menjaga keamanannya.

Mengotomatiskan dan Menjadwalkan Alur Kerja

Anda dapat mengatur notebook agar berjalan sendiri sesuai jadwal. Dengan begitu, Anda tidak perlu melakukan langkah secara manual atau menggunakan file CSV. Alat seperti dbt Cloud, Meltano, dan Prefect membantu Anda memantau dan mengendalikan pipeline. dbt Cloud cocok untuk pekerjaan SQL. Meltano gratis dan dapat bekerja dengan Git. Prefect menggunakan Python dan memiliki fitur retry, caching, dan log.

• Alat otomatisasi membantu Anda:

  • Mengatur eksekusi

  • Memantau status pipeline

  • Mengurangi pekerjaan manual

Jika Anda mengotomatisasi alur kerja, Anda lebih sedikit membuat kesalahan dan mendapatkan nilai lebih dari data Anda.

Tata Kelola, Auditabilitas, dan Praktik Terbaik

Integrasi Git dan Tinjauan Kode

Git membantu Anda melacak setiap perubahan pada notebook Anda. Anda dapat melihat siapa yang membuat perubahan dan kapan dilakukan. Coba ide-ide baru di cabang sebelum menambahkannya ke proyek utama. Tinjauan kode memungkinkan tim Anda menemukan kesalahan sejak dini. Semua orang dapat bekerja sama tanpa kehilangan pekerjaan satu sama lain. Jika terjadi kesalahan, Anda dapat kembali ke versi yang aman.

Tips: Selalu gunakan pull request untuk setiap perubahan. Ini menjaga kode Anda tetap aman dan mudah diperiksa.

Pagar Pengaman: Pemeriksaan Skema dan Kueri Canary

Pagar pengaman membantu menjaga keamanan data Anda. Pemeriksaan skema memastikan tabel Anda memiliki kolom dan tipe yang tepat. Kueri canary memeriksa masalah setelah setiap langkah. Kueri ini memeriksa jumlah baris, nilai kosong, dan angka-angka kunci. Pemeriksaan ini membantu Anda menemukan masalah sebelum masalah tersebut sampai ke dasbor Anda.

• Pemeriksaan dapat langsung menemukan data yang hilang atau salah.

• Perbaikan otomatis dapat mengatasi masalah umum dengan memanfaatkan jawaban sebelumnya.

• Penerapan canary menguji perubahan berisiko pada sebagian kecil data Anda.

Catatan: Selalu periksa skema Anda sebelum memindahkan data ke langkah berikutnya.

Keamanan dan Kontrol Akses

Anda dapat menjaga keamanan data dengan perlindungan yang kuat di Microsoft Fabric Lakehouse. OneLake Security memungkinkan Anda menetapkan aturan tentang siapa yang dapat melihat atau mengubah data. Keamanan tingkat baris dan kolom mengontrol apa yang dapat dilihat setiap orang. Anda dapat menggunakan User Identity Mode atau Delegated Identity Mode untuk mengelola akses. Shortcut aman menjaga data sumber Anda tetap aman, bahkan dengan sumber jarak jauh.

• Perlindungan akses keluar workspace memblokir koneksi yang tidak diinginkan.

• Managed private endpoint memungkinkan Anda hanya mengizinkan sumber luar yang tepercaya.

• Konektivitas antar-workspace memungkinkan Anda berbagi dengan aman antar-workspace.

Selalu periksa pengaturan akses Anda untuk menjaga keamanan data.

Kemenangan Cepat dan Anti-Pola

Anda dapat membuat pipeline lebih baik dengan:

• Memindahkan satu pipeline ke notebook dengan pelacakan Git.

• Menambahkan pemeriksaan skema dan kueri canary.

• Menggunakan parameter untuk semua path dan ID workspace.

• Menggunakan pull request untuk setiap perubahan.

Jangan lakukan hal-hal berikut:

• Mencampur pipeline notebook dengan perbaikan Excel manual.

• Menulis CSV kembali lalu memuatnya ke Power BI.

• Menanamkan rahasia atau path secara langsung (hard-coding).

• Menggunakan satu notebook besar untuk semua hal.

Perubahan kecil dapat membuat pipeline data Anda lebih aman dan lebih mudah digunakan.

Integrasi Power BI dan Machine Learning

Membangun Model Semantik di Atas Tabel Gold

Tabel gold dapat membantu Anda memperoleh lebih banyak nilai dari data Anda. Anda membangun model semantik di Power BI untuk mengorganisasi data. Model-model ini mempermudah analisis dan pelaporan. Jika Anda menerapkan praktik terbaik, model Anda akan lebih bermanfaat dan mudah dibagikan.

• Anggap model semantik sebagai produk. Berikan setiap model nama dan tujuan yang jelas.

• Bangun model dengan definisi yang sederhana. Pastikan semua orang memahami arti setiap field.

• Catat versi model dan dokumentasikan perubahannya. Jelaskan cara menggunakan setiap model.

• Bagikan model dengan tim lain agar konsisten. Ini membantu semua orang menggunakan data dan aturan yang sama.

Tips: Catatan yang baik dan makna yang jelas membantu orang mempercayai dan menggunakan model Anda.

Feature Store ML dan Pelatihan Model

Feature store membantu Anda melacak data untuk machine learning. Anda dapat menyimpan fitur di satu tempat untuk pelatihan dan prediksi. Hal ini membuat model Anda tetap akurat dan andal. Feature store membantu Anda menghindari kesalahan dengan menggunakan data yang sama untuk kedua tahap tersebut. Feature store menunjukkan asal setiap fitur dan cara perubahannya. Hal ini memudahkan Anda memperbaiki masalah dan mengulang pekerjaan. Anda dapat berbagi dan menggunakan ulang fitur bersama tim. Hal ini menghemat waktu dan membantu semua orang mendapatkan hasil yang lebih baik.

Mengotomatiskan Penyegaran dan Penerapan Model

Anda dapat menggunakan job scheduler di Microsoft Fabric untuk menyegarkan data dan menerapkan model secara otomatis. Scheduler memungkinkan Anda mengatur job agar berjalan pada waktu tertentu. Anda dapat mengelola banyak jadwal dan menghubungkannya dengan proses kerja Anda. Hal ini menjaga data dan model tetap mutakhir tanpa dilakukan secara manual. Otomatisasi membantu Anda membuat lebih sedikit kesalahan dan menjaga alur kerja tetap kuat.

Catatan: Otomatisasi memungkinkan Anda menghabiskan lebih banyak waktu untuk wawasan dan keputusan, bukan pekerjaan manual.

Anda dapat lebih mempercayai data Anda saat menggunakan pendekatan code-first dengan Microsoft Fabric Notebooks dan Lakehouse. Pola Bronze-Silver-Gold, aturan yang baik, dan otomatisasi membantu Anda mengembangkan analitik dan machine learning. Mulailah dengan memindahkan satu pipeline dan tambahkan pemeriksaan untuk menjaga keamanannya. Selanjutnya, perhatikan fitur-fitur yang benar-benar membantu:

• Delta Live Tables membuat pipeline berjalan sendiri dan menghemat waktu.

• Liquid Clustering membuat kueri lebih cepat dan biaya lebih hemat.

• Pemantauan berbasis AI membantu Anda menemukan kueri yang lambat dengan cepat.

Untuk langkah berikutnya, coba lab praktik, tonton video dari para ahli, atau selesaikan kursus DP-700 untuk belajar lebih lanjut.

Pertanyaan Umum

Apa manfaat utama menggunakan Fabric Notebooks untuk transformasi data?

Anda mendapatkan satu tempat untuk menulis, menguji, dan melacak langkah data Anda. Hal ini membuat pekerjaan Anda lebih mudah diperiksa dan diulang. Anda juga dapat bekerja dengan kumpulan data besar tanpa memindahkan file.

Bagaimana pola Bronze-Silver-Gold membantu pipeline data saya?

Pola ini membantu Anda mengatur data dalam tahapan yang jelas. Anda menjaga data mentah tetap aman, membersihkan data, lalu membuat fitur untuk laporan atau model. Anda dapat memperbaiki masalah lebih cepat dan lebih yakin pada hasil Anda.

Bisakah saya menggunakan Git dengan Fabric Notebooks?

Ya, Anda dapat menghubungkan notebook ke Git. Hal ini memungkinkan Anda melacak perubahan, meninjau kode, dan bekerja sama dengan tim. Anda selalu dapat kembali ke versi lama jika diperlukan.

Bagaimana cara menjaga keamanan data saya di Lakehouse?

Anda menetapkan aturan tentang siapa yang dapat melihat atau mengubah data. Anda menggunakan keamanan tingkat baris dan kolom. Anda juga dapat menggunakan managed endpoint dan kontrol workspace untuk melindungi data Anda.

Bisakah saya mengotomatiskan alur kerja data dan ML saya?

Bisa! Anda dapat menjadwalkan notebook agar berjalan pada waktu tertentu. Anda juga dapat menyegarkan data dan menerapkan model tanpa melakukannya secara manual. Hal ini menghemat waktu Anda dan mengurangi kesalahan.

Anda Juga Sebaiknya Mendengarkan

Jika Anda sedang mempelajari Microsoft Fabric notebooks lakehouse, episode berikut menambahkan konteks praktis tentang platform data Microsoft, arsitektur AI, tata kelola, dan otomatisasi.

• Azure AI Foundry – Simply Explained — Memahami cara solusi AI perusahaan dibangun dan diatur.
• Microsoft AI Agent Harness – Simply Explained — Menjelajahi orkestrasi, evaluasi, dan observabilitas yang andal.
• Microsoft Teams Governance – Simply Explained — Melihat bagaimana aturan siklus hidup dan kepemilikan membuat kolaborasi tetap terkelola.

Episode-episode ini membantu menghubungkan topik artikel dengan keputusan arsitektur dan penerapan di lapangan.