Menguasai Arsitektur Lakehouse: Bronze, Silver, dan Gold di Microsoft Fabric

By Mirko Peters · 2026-08-28

Selamat datang kembali di blog pendamping podcast! Di episode terbaru, kami membahas secara mendalam realitas praktis rekayasa machine learning dalam ekosistem Micro…

Automatically translated with AI from the original post. Read the English original

Titelbild: Mastering Lakehouse Architecture: Bronze, Silver, and Gold in Microsoft Fabric

Selamat datang kembali di blog pendamping podcast! Di episode terbaru, kami membahas secara mendalam realitas praktis rekayasa machine learning dalam ekosistem Microsoft. Jika Anda belum mendengarkannya, pastikan untuk membaca Build Machine Learning Models in Microsoft Fabric. Hari ini, kami akan memperluas konsep tersebut dan membahas bagaimana menyusun data Anda menggunakan arsitektur medallion di dalam Lakehouse Microsoft Fabric, yang menjadi fondasi utama bagi operasi machine learning yang sukses dan dapat diskalakan.

Membangun model machine learning yang siap produksi tidak hanya soal memilih algoritma yang tepat atau menyetel hyperparameter. Dalam banyak kasus, keberhasilan model prediktif Anda bergantung pada kebersihan data, pipeline yang dapat direproduksi, dan tata kelola yang kuat. Mari kita bahas cara menguasai arsitektur Lakehouse Anda menggunakan Microsoft Fabric.

Arsitektur sekilas pandang

Saat merancang platform data dan machine learning end-to-end di Microsoft Fabric, memahami alur data sangatlah penting. Semuanya dimulai di OneLake, yang berfungsi sebagai lapisan penyimpanan terpadu. Dari sana, data disalurkan ke Lakehouse, tempat data bertransisi melalui tabel Delta bronze, silver, dan gold.

Untuk komputasi, Fabric Notebooks memberi data scientist akses ke stack data science yang telah terpasang sebelumnya, didukung oleh Spark, Python, dan R. Pelacakan eksperimen ditangani secara mulus melalui run MLflow bawaan, yang mencatat metrik, parameter, dan artefak tanpa memerlukan server pelacakan eksternal. Setelah model dilatih, model dipindahkan ke registry terpadu, lengkap dengan versioning, persetujuan, dan lineage data yang utuh. Terakhir, model disajikan melalui batch job terkelola atau endpoint HTTP real-time, yang melayani konsumen seperti Power BI, Power Apps, dan klien API kustom.

Lakehouse: jinakkan input, tetap kendalikan

Filosofi inti Lakehouse adalah menggabungkan fleksibilitas data lake dengan keandalan data warehouse. Agar hal ini berjalan efektif, Anda perlu menyusun data ke dalam beberapa lapisan yang berbeda.

Susun tabel Anda berlapis

Bronze: Ini adalah lapisan ingestion mentah. Data masuk ke sini dengan prinsip schema-on-read dan tetap tidak dapat diubah untuk keperluan audit dan pemrosesan ulang.
Silver: Di lapisan ini, data dibersihkan, diberi tipe, dan digabungkan. PII diminimalkan, dan pemeriksaan kualitas awal diterapkan.
Gold: Lapisan gold berisi agregat siap-fitur yang dibangun di atas kontrak data yang jelas dan terdokumentasi, yang dapat langsung digunakan oleh model machine learning Anda.

Akses berdasarkan tujuan

Gunakan kontrol akses berbasis peran (RBAC) di workspace dikombinasikan dengan daftar kontrol akses (ACL) tingkat tabel. Berikan data scientist akses baca ke tabel silver dan gold, sambil membatasi akses tulis khusus ke tabel fitur dan direktori eksperimen.

Pagar pengaman kualitas data

Terapkan ekspektasi yang ketat untuk constraint not-null, rentang nilai, dan integritas referensial. Ketika baris gagal dalam pemeriksaan ini, alihkan langsung ke tabel _quarantine agar pipeline hilir Anda tidak gagal secara diam-diam atau menyerap data yang rusak.

Feature store versi ringan

Perlakukan fitur yang dapat digunakan ulang sebagai tabel gold, misalnya feat_customer_rolling_90d, dan lengkapi dengan kamus data YAML agar tim Anda memahami apa yang diwakili oleh setiap fitur.

Notebook tanpa repot

Kolaborasi pengkodean dapat dengan cepat menjadi kacau jika pengembang mengandalkan lingkungan yang berbeda. Fabric menyediakan kernel prainstal, termasuk pandas, PySpark, scikit-learn, dan PyTorch, sehingga semua orang bekerja dari baseline yang sama persis.

Terapkan tata letak proyek yang terstruktur dengan memisahkan notebook eksplorasi, skrip rekayasa fitur, rutin pelatihan model, dan file konfigurasi. Jaga reproduktibilitas Anda dalam kode, bukan mengandalkan klik manual di UI. Baca dari Lakehouse Anda melalui Spark SQL, tulis fitur akhir sebagai tabel Delta, dan selalu siapkan tabel sampel pengembangan yang lebih kecil agar tim Anda dapat beriterasi dengan cepat tanpa menunggu kueri pada seluruh dataset yang besar.

Lacak semua dengan MLflow (bawaan)

Pelacakan manual terhadap eksperimen model menghasilkan hasil yang tidak dapat direplikasi. Dengan memanfaatkan integrasi MLflow bawaan di Fabric, Anda memastikan keterbandingan antar-run, auditabilitas yang lengkap, dan rollback yang mudah ketika model yang baru di-deploy tidak berperforma sesuai harapan.

Catat seluruh hyperparameter, metrik evaluasi, dan artefak model yang telah dilatih langsung di dalam skrip pelatihan Anda. Pastikan setiap run diberi tag metadata kontekstual, seperti rentang data, versi feature set, dan hash commit kode, serta kunci tabel pelatihan Anda ke versi snapshot Delta tertentu.

Registry, persetujuan, dan lineage

Memindahkan model dari eksperimen ke produksi seharusnya tidak pernah menjadi permainan tebak-tebakan. Promosikan run terbaik Anda ke Registered Model dengan menggunakan penomoran semantik seperti 1.0.0. Terapkan proses persetujuan dua tahap yang mensyaratkan tanda tangan dari data science owner dan business owner. Terakhir, catat metadata model card yang komprehensif, yang merinci tujuan model, cakupan data, catatan fairness, dan service-level objective untuk pemantauannya.

Opsi penyajian (pilih sesuai beban kerja)

Batch scoring (murah, andal)

Untuk beban kerja yang tidak memerlukan respons instan di bawah satu detik, batch scoring adalah pilihan terbaik. Gunakan job atau notebook Fabric yang dijadwalkan untuk membaca model produksi dari registry, menerapkannya pada dataset batch, lalu menulis hasil prediksi kembali ke Lakehouse.

Endpoint real-time (aplikasi interaktif)

Ketika pengguna membutuhkan umpan balik seketika, misalnya validasi formulir atau penilaian risiko saat tombol diklik, deploy model terdaftar Anda sebagai endpoint real-time terkelola langsung melalui antarmuka pengguna Fabric. Sediakan kontrak JSON yang dapat diprediksi dan hubungkan secara aman ke Power Apps atau aplikasi eksternal.

Pemantauan & pelatihan ulang

Men-deploy model hanyalah setengah dari perjuangan. Anda harus terus memantau data drift dengan membandingkan distribusi fitur live terhadap baseline pelatihan, menggunakan ambang batas Kullback-Leibler divergence atau Population Stability Index. Lacak metrik kesehatan operasional, termasuk latensi endpoint, tingkat kesalahan, dan biaya per seribu skor. Otomatiskan pipeline pelatihan ulang dengan kombinasi pemicu berbasis waktu dan peringatan drift berbasis kejadian agar model tetap akurat dari waktu ke waktu.

Keamanan & kepatuhan

Menjaga keamanan adalah hal utama ketika menangani data perusahaan. Terapkan prinsip hak akses minimum dengan memberikan data scientist akses baca ke lapisan silver dan gold, sambil membatasi izin tulis hanya ke direktori feature dan eksperimen yang ditetapkan. Gunakan managed identity dan Azure Key Vault untuk seluruh penyimpanan kredensial, sehingga tidak ada secret yang pernah ditanam secara hardcode di notebook Anda. Minimalkan paparan PII dengan melakukan hashing atau tokenisasi terhadap informasi sensitif sejak dini di lapisan silver, sehingga data tersebut tidak pernah menyebar ke feature store Anda.

Yang perlu diukur (buktikan nilai dengan cepat)

Untuk menunjukkan nilai inisiatif machine learning Anda dengan cepat, fokuslah pada metrik yang tepat. Ukur kekuatan model menggunakan AUC dan precision-at-k untuk pemeringkatan, lacak dampak bisnis melalui peningkatan pendapatan atau penurunan tingkat churn, pantau kecepatan dari kesiapan data hingga deployment produksi, dan evaluasi keandalan infrastruktur serta efisiensi biaya per seribu prediksi.

Rencana rollout 14 hari

Jika Anda ingin beralih dari nol ke deployment Fabric yang siap produksi dengan cepat, ikuti rencana rollout dua minggu terstruktur berikut:

Hari 1–2: Kebersihan Lakehouse, struktur bronze/silver/gold, ACL, dan pemeriksaan kualitas.
Hari 3: Kerangka notebook, helper data, dan tabel sampel dev.
Hari 4–5: Feature set v1, pelatihan model baseline, dan logging MLflow.
Hari 6: Rangkaian evaluasi, pembuatan model card, dan registrasi model (v0.1).
Hari 7: Pembuatan job batch scoring dan integrasi dashboard Power BI.
Hari 8: MVP pemantauan, pemeriksaan drift, dan logging operasional.
Hari 9: Implementasi alur persetujuan dan promosi ke produksi.
Hari 10: Penyiapan endpoint real-time, throttling, dan logging permintaan (jika diperlukan).
Hari 11–12: A/B testing, backtesting, dan penetapan KPI bisnis.
Hari 13: Tata kelola biaya, guardrail autoscaling, dan rencana canary deployment.
Hari 14: Dokumentasi runbook, serah terima tim, dan perencanaan backlog.

Kesalahan umum (dan perbaikan cepat)

Bahkan tim yang berpengalaman pun sering menghadapi hambatan. Hindari "notebook roulette" dengan mengunci lingkungan Anda ke kernel Fabric standar. Jangan hanya menguji dengan sampel kecil yang akan gagal saat diterapkan pada seluruh dataset. Cegah "ghost models" di produksi dengan menerapkan alur kerja promosi registry secara ketat. Jaga biaya cloud Anda tetap terkendali dengan memprioritaskan pemrosesan batch sebisa mungkin dan melakukan caching pada fitur turunan.

Cuplikan kode yang berguna

Untuk membantu Anda memulai proyek berikutnya, berikut cuplikan singkat yang menunjukkan cara membaca versi tertentu dari tabel Delta:

sales_v = spark.read.option("versionAsOf", 123).table("lakehouse.gold.sales_txn")

Jika Anda ingin mengekstrak feature importance menggunakan scikit-learn dan langsung mencatatnya ke MLflow, gunakan pendekatan berikut:

import pandas as pd
fi = pd.Series(clf.feature_importances_, index=feature_cols).sort_values(ascending=False)
mlflow.log_artifact(fi.head(30).to_frame("importance").to_csv("fi.csv", index=True))

Dan untuk menghitung Population Stability Index (PSI) guna mendeteksi drift:

import numpy as np
def psi(expected, actual, bins=10):
    e, b = np.histogram(expected, bins=bins, range=(np.min(expected), np.max(expected)))
    a, _ = np.histogram(actual,   bins=b,     range=(np.min(expected), np.max(expected)))
    e = np.clip(e / e.sum(), 1e-6, None); a = np.clip(a / a.sum(), 1e-6, None)
    return np.sum((a - e) * np.log(a / e))

Jika Anda mau, bagikan nama tabel Lakehouse Anda saat ini dan satu use case target, misalnya customer churn, lead scoring, atau demand forecasting, di kolom komentar atau hubungi saya secara langsung. Saya akan menyusun rangkaian fitur minimal, pilihan model baseline, dan integrasi batch atau real-time yang tepat untuk membantu Anda merilis deployment Microsoft Fabric pertama dengan cepat!