Menguasai Arsitektur Bronze-Silver-Gold di Microsoft Fabric

By Mirko Peters · 2026-08-28

Automatically translated with AI from the original post. Read the English original

Cover: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric

Selamat datang kembali di blog kami! Jika Anda mengikuti perjalanan podcast kami, Anda tahu betapa kami terobsesi dengan cara menyederhanakan pengelolaan data, memecah silo, dan benar-benar menghasilkan wawasan yang dapat ditindaklanjuti dari data perusahaan. Hari ini, kita akan membahas secara mendalam cara menyusun jalur data Anda menggunakan arsitektur medallion di dalam Microsoft Fabric. Secara khusus, kita akan melihat bagaimana data mentah berpindah dari lapisan bronze ke lapisan silver dan akhirnya masuk ke lapisan gold, sehingga organisasi Anda memiliki analitik yang bersih, andal, dan sangat cepat.

Ketika organisasi pertama kali memulai analitik cloud, mereka sering membuat kesalahan dengan menumpuk semuanya ke dalam satu penyimpanan yang berantakan. Tanpa jalur yang jelas untuk kematangan data, tim akhirnya bergelut dengan masalah kualitas data, metrik yang saling bertentangan, dan mimpi buruk kepatuhan. Di sinilah arsitektur medallion hadir sebagai solusi. Dengan menetapkan progresi yang jelas melalui tingkatan bronze, silver, dan gold, Anda membangun fondasi yang andal yang mengubah input yang kacau menjadi aset yang siap untuk skala perusahaan. Mari kita telusuri cara kerjanya langkah demi langkah di dalam ekosistem Microsoft Fabric.

Sebelum menyelami tata letak teknisnya, saya sangat menganjurkan Anda untuk menyimak episode podcast terkait kami, Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric. Dalam episode tersebut, kami mengulas pola-pola yang sama persis, membahas bagaimana OneLake menyatukan semuanya, dan mengeksplorasi strategi nyata untuk menyatukan tata kelola data dan alur kerja AI.

Pengantar Arsitektur Medallion di Microsoft Fabric

Arsitektur medallion adalah pola desain data yang mengatur data secara logis dalam data lake, dengan tujuan meningkatkan struktur dan kualitas data secara bertahap dan progresif saat data mengalir melalui setiap lapisan jalur data. Di Microsoft Fabric, arsitektur ini didukung secara native oleh OneLake, penyimpanan format Delta Lake, serta mesin komputasi yang andal seperti Spark dan Data Factory.

Mengapa kita perlu peduli dengan penyusunan jalur data seperti ini? Di banyak perusahaan, data mentah datang dalam begitu banyak format—file JSON dari API, file CSV dari sistem lama, telemetri streaming dari perangkat IoT, dan catatan transaksi dari basis data. Jika Anda mencoba membuat kueri langsung pada kumpulan data mentah yang berantakan ini, dasbor Anda akan lambat, pengguna bisnis akan kebingungan dengan nama kolom yang tidak rapi, dan tim data engineer Anda akan menghabiskan seluruh waktu untuk memperbaiki laporan yang rusak alih-alih memberikan nilai bisnis.

Dengan menerapkan progresi bronze-ke-silver-ke-gold, Anda menciptakan batas tanggung jawab yang jelas:

Lapisan Bronze: Menyerap dan mempertahankan data mentah apa adanya.
Lapisan Silver: Membersihkan, mentransformasi, dan mengintegrasikan data ke dalam tabel terstruktur.
Lapisan Gold: Mengagregasi, mengoptimalkan, dan menyajikan analitik siap pakai untuk bisnis.

Mari kita telusuri masing-masing lapisan ini secara rinci untuk melihat cara kerjanya di dalam lingkungan Microsoft Fabric modern.

Memahami Lapisan Bronze: Menyerap Data Mentah

Lapisan bronze—yang sering disebut sebagai lapisan mentah atau landing—adalah titik pertama bagi seluruh data yang masuk ke ekosistem Microsoft Fabric Anda. Tujuan utamanya sederhana namun krusial: menangkap data secepat mungkin dalam format aslinya yang belum diubah, lalu menyimpannya dengan aman.

Saat merancang lapisan bronze, tahan keinginan untuk menerapkan logika bisnis, memperbaiki salah ketik, atau menghapus kolom. Mengapa? Karena jika skrip transformasi hilir secara tidak sengaja merusak data atau menghapus bidang yang kemudian dibutuhkan untuk kepatuhan, Anda memerlukan catatan historis yang utuh dan tidak diedit sebagai sandaran. Lapisan bronze berfungsi sebagai jejak audit yang tidak dapat diubah.

Di dalam Microsoft Fabric, Anda biasanya memasukkan data ini ke OneLake menggunakan data pipeline, copy activity, atau real-time event stream. Baik Anda menarik data dari Dynamics 365, basis data Azure SQL, Salesforce, maupun bucket S3 eksternal, Fabric memudahkan proses ingestion secara native. Data disimpan dalam format open-source seperti Delta Parquet, yang menyediakan transaksi ACID dan kueri berperforma tinggi sejak awal.

Praktik utama untuk menjaga lapisan bronze tetap sehat meliputi:

Operasi append-only: Jangan pernah memperbarui atau menghapus record di lapisan bronze. Selalu tambahkan file atau baris baru dengan timestamp ingestion.
Schema-on-read: Izinkan data semi-terstruktur (seperti payload JSON bersarang) masuk tanpa penegakan skema yang kaku, sehingga Anda tidak kehilangan record yang masuk hanya karena perubahan kecil pada sumber data.
Pelacakan metadata: Tambahkan kolom metadata selama ingestion—seperti nama sistem sumber, timestamp ingestion, dan ID batch—untuk menjaga silsilah data (data lineage) secara penuh sejak hari pertama.

Memurnikan Data di Lapisan Silver: Membersihkan dan Mentransformasi

Setelah data Anda tersimpan dengan aman di lapisan bronze, saatnya memindahkannya ke lapisan silver. Di sinilah pekerjaan berat rekayasa data benar-benar terjadi. Lapisan silver mengambil input mentah yang berantakan dan mengubahnya menjadi dataset yang sudah dibersihkan, divalidasi, dan sesuai dengan standar perusahaan.

Di lapisan silver, Anda beralih dari schema-on-read ke schema-on-write. Di sinilah Anda menerapkan aturan bisnis untuk memastikan integritas data. Transformasi umum yang dijalankan di lapisan silver meliputi:

Deduplikasi: Mengidentifikasi dan menghapus record event yang duplikat atau entri pelanggan yang berlebihan.
Penanganan Nilai Kosong: Mengisi nilai default standar, menandai anomali null, atau menghapus record yang tidak valid berdasarkan aturan tata kelola data.
Standardisasi: Menormalkan format tanggal, menstandarkan kode negara, mengonversi nilai mata uang ke denominasi dasar, dan merapikan huruf pada string.
Penegakan Tipe Data: Mengonversi representasi string dari angka dan tanggal menjadi tipe data integer, float, dan timestamp yang sesuai.
Penggabungan dan Pengayaan: Menggabungkan tabel operasional mentah dengan data referensi untuk membentuk entitas terpadu, misalnya menggabungkan log transaksi pelanggan dengan tabel profil pelanggan induk.

Di Microsoft Fabric, data engineer biasanya memanfaatkan notebook yang berjalan dengan Spark atau endpoint SQL dalam Fabric Lakehouse untuk membangun pipeline transformasi ini. Dengan menyimpan tabel silver sebagai Delta table, Anda memperoleh manfaat berupa time travel, partisi yang efisien, dan pembaruan inkremental berkecepatan tinggi. Setelah data mencapai lapisan silver, data tersebut sudah bersih, terstruktur, dan siap mendukung analisis departemen yang spesifik atau diumpankan ke model machine learning.

Membangun Lapisan Gold: Menyajikan Analitik yang Siap Pakai Bisnis

Kita sudah menyerap data mentah di lapisan bronze dan membersihkan serta menstandarkannya di lapisan silver. Sekarang tibalah bagian yang paling menarik: membangun lapisan gold. Lapisan gold—yang sering disebut serving layer atau presentation layer—adalah tempat data dibentuk secara khusus untuk menjawab pertanyaan bisnis dan mendorong pengambilan keputusan eksekutif.

Berbeda dengan tabel silver yang granular dan sangat ternormalisasi, tabel di lapisan gold umumnya dimodelkan dalam skema dimensional (star schema), dengan tabel fakta dan dimensi yang terdefinisi dengan baik. Di sinilah Anda menghitung key performance indicator (KPI), monthly recurring revenue, tingkat churn pelanggan, perputaran inventaris, dan metrik bisnis penting lainnya.

Karena lapisan gold dioptimalkan untuk konsumsi, performa adalah segalanya. Di Microsoft Fabric, Anda dapat menyajikan tabel gold secara langsung melalui semantic model Power BI atau endpoint SQL. Business analyst dan pengguna self-service dapat terhubung ke dataset yang sudah dikurasi ini tanpa perlu memahami join tabel yang mendasarinya atau logika pengolahan data.

Untuk memaksimalkan nilai lapisan gold Anda, perhatikan prinsip-prinsip berikut:

Terminologi yang Ramah Bisnis: Ganti nama kolom teknis (seperti `cust_id_fk_02`) menjadi bahasa bisnis yang jelas (seperti `Customer ID`).
Metrik Pra-agregasi: Buat tabel ringkasan untuk laporan historis yang berat agar dashboard dapat dimuat dalam hitungan milidetik, bukan menit.
Keselarasan dengan Strategi: Pastikan setiap tabel dan metrik di lapisan gold terhubung langsung dengan tujuan korporat atau kebutuhan pelaporan.

Memastikan Keamanan dan Tata Kelola di Seluruh Pipeline Anda

Membangun pipeline bronze-silver-gold yang rapi baru separuh dari perjuangan. Saat data mengalir melalui lapisan-lapisan ini, Anda harus memastikan bahwa informasi sensitif terlindungi, standar kepatuhan terpenuhi, dan pengguna yang tidak berwenang tetap tidak bisa mengakses. Untungnya, Microsoft Fabric dibangun dengan keamanan tingkat perusahaan yang terintegrasi secara mendalam ke dalam arsitekturnya.

Tata kelola di Fabric disatukan melalui Microsoft Purview. Saat data bergerak dari bronze ke silver lalu ke gold, Anda dapat melacak silsilah data (data lineage) secara lengkap. Jika auditor menanyakan dari mana sebuah angka pendapatan di dasbor eksekutif berasal, grafik silsilah Anda akan menunjukkan proses pipeline yang tepat, notebook transformasi silver, dan file mentah bronze tempat data itu berasal.

Kontrol akses dikelola dengan mulus menggunakan Microsoft Entra ID. Anda dapat menerapkan keamanan tingkat baris (RLS) dan keamanan tingkat kolom di lapisan gold, sehingga manajer penjualan regional hanya melihat data yang relevan dengan wilayah mereka. Selain itu, Fabric menangani enkripsi saat data disimpan dan saat data ditransmisikan secara otomatis, sementara alat seperti Pencegahan Kehilangan Data (DLP) dan label sensitivitas mencegah ekspor data organisasi yang bersifat rahasia secara tidak sengaja.

Dengan menanamkan keamanan dan tata kelola di setiap tingkatan arsitektur medallion Anda, Anda menghilangkan risiko yang terkait dengan penyebaran data yang tidak terkendali dan membangun lingkungan yang benar-benar tepercaya bagi seluruh pengguna Anda.

Manfaat Dunia Nyata dan ROI dari Pipeline Data Terstruktur

Mengadopsi arsitektur bronze-silver-gold di Microsoft Fabric bukan sekadar praktik terbaik arsitektur; ini adalah pendorong besar nilai bisnis dan pengembalian investasi (ROI). Organisasi yang beralih dari penyimpanan data yang kacau dan tidak terstruktur ke pipeline medallion yang terkelola akan mengalami peningkatan operasional yang signifikan.

Pertama, produktivitas rekayasa data melonjak drastis. Alih-alih menulis skrip khusus yang rapuh untuk setiap permintaan pelaporan baru, para insinyur membangun pipeline transformasi yang dapat digunakan kembali dan mengalirkan data yang bersih ke tahap berikutnya. Studi tentang adopsi Microsoft Fabric menunjukkan organisasi yang mencapai peningkatan produktivitas rekayasa data hingga 25% dan menghemat jutaan dolar waktu analis karena data menjadi mudah ditemukan, dipercaya, dan dikueri.

Kedua, analitik swalayan akhirnya menjadi kenyataan. Ketika pengguna bisnis diberi akses ke kumpulan data gold yang telah dikurasi dengan konvensi penamaan yang intuitif dan angka yang andal, mereka berhenti membuat spreadsheet tidak resmi dan mulai mengandalkan dasbor Power BI yang resmi. Demokratisasi data ini membangun budaya kolaborasi dan secara signifikan mempercepat siklus pengambilan keputusan.

Terakhir, skalabilitas arsitektur cloud-native memastikan bahwa seiring pertumbuhan bisnis Anda, infrastruktur data Anda ikut berkembang tanpa memerlukan upaya perancangan ulang besar-besaran. Baik Anda memproses gigabyte maupun petabyte data, Microsoft Fabric menangani penskalaan komputasi di baliknya secara lancar dan hemat biaya.

Menguasai arsitektur bronze-silver-gold di Microsoft Fabric adalah cara definitif untuk menata ekosistem data Anda. Dengan sengaja memindahkan data dari penyerapan mentah, ke penyempurnaan yang bersih, dan akhirnya ke presentasi yang siap digunakan bisnis, Anda membuka potensi sejati dari aset informasi organisasi Anda. Untuk mendengar lebih banyak wawasan ahli, pembahasan arsitektur, dan tips praktis dalam menguasai ekosistem ini, pastikan Anda mendengarkan episode lengkap kami, Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric!

🎧 Dengarkan episode ini

Ingin penjelasan praktis tentang Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric? Episode ini mengurai topik tersebut dengan bahasa yang jelas dan menunjukkan mengapa topik ini penting bagi Microsoft 365, Azure, Power Platform, keamanan, AI, dan kerja modern.

Dengarkan episode ini jika Anda ingin:

Memahami konsep utama di balik Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric
Melihat bagaimana topik ini berada dalam ekosistem teknologi Microsoft yang lebih luas
Mempelajari di mana topik ini dapat menciptakan nilai praktis bagi organisasi Anda

Anda mungkin juga menikmati episode M365 FM terkait berikut:

Temukan lebih banyak percakapan praktis seputar Microsoft di M365 FM.