Topik hari ini adalah sesuatu yang hampir semua orang yang bekerja dengan data pernah dengar, namun hanya sedikit yang benar-benar memahaminya. Microsoft Fabric One Leg Anda mungkin pernah melihatnya di pemasaran Microsoft atau mendengar seseorang menyebutnya sebagai data leg terpadu untuk seluruh organisasi Anda. Namun, apa sebenarnya artinya itu? Apakah itu hanya sekadar wadah penyimpanan lain atau sesuatu yang benar-benar benar-benar? Berikut adalah definisi paling sederhana. One Leg adalah satu data leg logis yang berada di pusat Microsoft Fabric. Setiap layanan Fabric, Leg House, Warehouse, Event House, Power BI menyimpan datanya di sini, dan aturan utama yang sederhan. Satu salinan visi data yang dapat diakses oleh banyak mesin berbeda. Tidak perlu lagi menyalin data dari satu alat ke alat lain. Tidak perlu lagi bertanya-tanya versi laporan mana yang benar. Di akhir episode ini, Anda akan memahami apa sebenarnya One Leg, bagaimana ia menghilangkan duplikasi data, dan mengapa ia mengubah segalanya bagi Power BI, rekayasa data, dan AI. Jadi, mari kita mulai dengan masalah yang dibangun untuk dipecahkan oleh One Leg. Masalahnya, setiap departemen memiliki leg-nya sendiri. Bayangkan Anda bekerja di perusahaan skala menengah. Tim penjualan Anda menggunakan sistem CRM untuk melacak kesempatan. Tim keuangan Anda menjalankan RP untuk penagihan dan faktur. Tim pemasaran Anda menarik data dari alat kampanye mereka. Dan tim rekayasa data Anda mengelola data warehouse untuk pelaporan. Inilah yang ingin saya pikirkan. Berapa banyak salinan data pelanggan yang sama yang ada di seluruh sistem ini? Di sebagian besar perusahaan, jawabannya adalah empat. CRM menyimpannya. RP menyimpannya. Pemasaran mengekspornya ke alat analitik mereka. Seseorang di bagian keuangan membuat spread dari RP. Dan tim rekayasa datang menyalankannya ke warehouse agar Power BI dapat membacanya. Itu adalah ID pelanggan yang sama, jumlah penjualan yang sama, tanggal faktur yang sama, tanggal faktur yang sama yang disimpan di lima tempat berbeda. Ini bukan karena orang yang ceroboh. Ini karena alat-alat lama tidak sering terhubung. Jika Anda ingin menjalankan laporan yang menggabungkan data penjualan dari CRM dengan data keuangan dari RP, Anda harus menyalin keduanya ke sesuatu yang bisa membacanya bersama-sama. Itu berarti membangun pipeline, menjadwalkan tugas, dan berharap tidak ada yang rusak dalam semangat. Biaya tersembunyi bertambah dengan cepat. Tagihan penyimpanan membengkak karena Anda membayar untuk data yang sama sepanjang lima tempat. Laporan menjadi kedaluar sekena satu salinan diperbarui sementara yang lain tidak. Dan kemudian seseorang mengajukan pertanyaan yang tidak ingin dijawab oleh siapapun. Versi mana yang benar? Kebingungan itu menginggis kepercayaan pada data. Dan begitu kepercayaan hilang, orang akan berhenti menggunakan platform analitik tersebut sama sekali. Jadi, Microsoft melihat kekacauan ini dan mengajukan pertanyaan sederhana. Bagaimana jika Anda bisa memiliki satu salin data yang dapat dibaca oleh siapapun? Tanpa duplikasi, tanpa kebingungan, satu sumber kebenaran. Apa sebenarnya OneLag itu? OneLag adalah jawaban Microsoft untuk pertanyaan tersebut. Ini adalah satu danau data logis untuk seluruh organisasi Anda. Frasa kunci yang perlu diingat adalah ini. Satu danau perpenyewa, bukan satu danau pertim. Di baliknya, OneLag dibangun di atas Azure Data Lake Storage Gen 2. Teknologi yang sama, api yang sama, tetapi Microsoft telah mengumasnya kembali sebagai layanan SaaS yang dikelola sepenuhnya. Anda tidak perlu membuat akun penyimpanan, tidak perlu mengatur kunci akses, Anda tinggal menggunakannya. Tinggal menggunakannya. Anggap saja ini seperti OneDrive untuk data perusahaan Anda. OneDrive memberi Anda satu tempat untuk file, dokumen, foto, dan spreadsheet pribadi Anda. Anda tidak perlu memikirkan di mana mereka disimpan secara fisik. Anda cukup membukanya dan bekerja. OneLag melakukan hal yang sama, tetapi untuk data organisasi Anda. Ini memberi setiap tim, setiap proyek, dan setiap beban kerja satu kumpulan penyimpanan bersama. Nah, inilah perbedaan yang penting. Di baliknya, ia dapat mencakup beberapa akun penyimpanan di berbagai wilayah. Tetapi bagi Anda, itu terlihat seperti satu kumpulan raksas. Anda tidak peduli server-man yang menampung file tersebut, Anda hanya melihat data Anda. Setiap layan Fabric menyimpan datanya di sini. Saat Anda membuat Lakehouse, datanya tersimpan di OneLag. Saat Anda membangun gudang data, tabel-tabel yang tersimpan di OneLag. Saat Anda menjalankan laporan Power BI jika menggunakan mode DirectLag yang membaca langsung dari OneLag. Bahkan Eventhouse, penyimpanan analitik waktu nyata, dapat mengekspos datanya ke OneLag. Semuanya mengarah ke tempat yang sama, dan format data defaultnya adalah Delta Parkway. Itu adalah format terbuka, bukan penguncian ekosistem Microsoft. Data Bricks menggunakannya mesin Spark pembacanya. Alat seperti Panas dan Polar dapat bekerja dengan. Jadi, data Anda tidak terjebak di dalam video Microsoft. Data itu terbuka dan portable. Tetapi keajaiban sebenarnya bukanlah penyimpanannya, melainkan bagaimana OneLag menghilangkan kebutuhan untuk menyalain data sejak awal. Prinsip Satu Salinan Nah, inilah ide utama yang membuat OneLag berbeda dari apapun sebelumnya. Disebut prinsip Satu Salinan, dan sangat sederhana. Satu salinan data fisik dapat diakses oleh banyak mesin berbeda. Izinkan saya menunjukkan apa artinya ini. Katakanlah Anda memiliki tabel data penjualan di OneLag. Seorang insinyur data menjalankan buku catatan Spark untuk membersihkan. Seorang analis bisnis menulis kualitas SKL untuk mengagregasinya. Dan laporan Power BI membacanya untuk dashboard. Ketiganya terjadi pada saling menang. Ketiganya membaca file yang sama. Tidak ada yang menyalin apapun. Dulu hal itu tidak pernah terjadi. Anda menyalin data dari data light ke gudang data. Lalu Anda menyalinnya dari gudang data ke model semantik. Kemudian Anda menyegarkan laporannya. Itu berarti tiga salinan untuk data yang sama. Masih makan waktu dan ruang penyimpanan. Dan jika ada langkah yang gagal, angka Anda menjadi salah. Satu salinan menghilangkan semua itu. Data tersimpan di OneLag hanya sekali. Mesin Spark, SKL, Power BI, semuanya membaca langsung. Tidak berpindahan. Tidak ada duplikasi. Tidak ada masalah sinkronisasi. Penghematan biaya yang sangat nyat. Penyimpanan lebih hemat karena Anda tidak membayar data yang sama lima kali. ETA lebih sedikit karena Anda tidak perlu membuat alur untuk memindahkan data. Lebih sedikit hal untuk dikelola karena tidak ada yang rusak antar salinan. Dan manfaat kebaruannya sangat besar. Satu salinan berarti satu sumber kebenaran. Saat data diperbarui, setiap laporan langsung melihat pembaruannya. Tidak perlu lagi bertanya apakah laporan ini menggunakan data minggu lalu atau minggu ini. Datanya selalu sama dimanapun. Sekarang Anda mungkin berpikir bukankah ini hanya Azure Data Lake Storage. Tidak persis begitu. Adalah layanan PAI. Anda membuat akun penyimpanan. Anda mengelola konten. Anda mengatur kunci akses. Anda memutuskan wilayah mana menyimpan apa. Dan fleksibel tetapi juga memerlukan usaha. One Lake adalah layanan saat Anda tidak perlu membuat akun penyimpanan. Anda tidak perlu mengelola konten. Anda cukup menggunakannya. Infrastruktur dasarnya sudah ditangani untuk Anda. Satu saliran sangat bagus untuk data di dalam fabrik. Tapi bagaimana dengan data yang berada di tempat lain? Pintasan, sob. Biarkan data tetap di tempatnya. Disilah peran pintasan. Pintasan adalah penunjuk virtual. Anggap saja seperti telek Anda. Dan itu memungkinkan Anda mengakses data di luar One Lake tanpa memindahkan atau menyalinnya. Begini cara kerja. Anda membuat pintasan di dalam lake house atau gudang data. Dan pintasan itu mengarah ke file atau folder di tempat lain. Bisa di akun Azure Data Lake Storage, bucket Amazon S3, Google Cloud Storage, atau workspace fabric lainnya. Datanya tetap di sana. Tapi dari dalam fabric terlihat seperti ada di One Lake. Izinkan saya memberikan skenario nyata. Tim penjualan Anda telah menjalankan analitik di AWS selama bertahun-tahun. Jadi semua data mereka tersimpan di bucket S3. Tim keuangan Anda menggunakan fabric dan power BI. Dan mereka perlu menggabungkan data penjualan dengan data keuangan. Di masa lalu, Anda harus mengekspor semuanya dari S3. Mengunggahnya ke Azure. Membangun pipeline agar tetap sinkron. Dan berharap tidak ada yang rusak. Dengan shortcut, Anda membuat pintasan dari lake house Anda ke bucket S3. Datanya tetap di AWS. Tetapi bagian keuangan dapat menanyakannya di power BI seolah-olah data tersebut ada banyak. Tidak perlu ekspor, tidak perlu unggah. Dan tidak ada pipeline yang perlu dihajar. Shortcut juga berfungsi secara internal. Jika satu tim memiliki kumpulan data terkurasi di ruang kerja mereka, tim lain dapat membuat pintasan ke data tersebut. Tidak ada penyalinan, tidak ada duplikasi. Data tetap berada di ruang kerja asli. Dan semua orang hanya mereferensikannya. Ada satu batasan yang perlu Anda pahami. Shortcut tidak menyalin data, jadi kinerja query bergantung pada kecepatan sistem sumber. Jika Anda membuat pintasan ke bucket S3 di belahan dunia lain, query Anda akan lebih lambat daripada jika datanya bersifat log. Untuk data yang sering diakses, seperti bangkan untuk melakukan mirroring sebagai ganti. Dan itu membawa kita ke topik berikutnya. Mirroring secara otomatis memasuk data basisnya. Shortcut menangani penyimpanan file eksternal dengan sangat baik, tetapi bagaimana dengan basis data Anda yang sudah ada? Yang menjalankan ERP, CRM, dan aplikasi operasional Anda. Disitulah mirroring berperan. Mirroring adalah cara untuk mendapatkan data dari basis data ke dalam one leg secara mendekati waktu nyata tanpa membangun satu penpep. Anda mengarahkan fabrik ke basis data Anda, dan ia menangani sisanya dengan membuat salinan incremental otomatis dari data tersebut ke dalam format data parquet di dalam one leg, menjaga salinan itu tetap mutakhir seiring perubahan di sumber. Sumber yang didukung termasuk SCL database, SCL server yang berjalan di lokasi on-premises, Cosmos DB, dan lainnya, serta Microsoft terus menamanya seiring waktu. Namun, skenario yang paling umum adalah basis data kritis bisnis Anda yang menjalankan ERP atau aplikasi lini bisnis Anda. Begini cara kerja. Anda mengaktifkan mirroring pada basis data, dan fabrik membaca feed perubahan penyisipan pembaruan penghapusan dan mereplikasi perubahan tersebut ke dalam one leg. Sinkronisasi pertama menyalin seluruh kumpulan data. Setelah itu, bersifat incremental, hanya memindahkan baris yang berubah. Data tersebut mendarat dalam format delta parquet siap untuk diquery oleh mesin fabrik apapun. Inilah perbedaan utama dari shortcut. Shortcut tidak menyalin data mereka menunjukkan data tersebut. Mirroring benar-benar menyalin data, sehingga data berada di one leg secara fisik, dan kinerja query menjadi cepat terlepas dari seberapa cepat atau lambat basis data sumbernya. Komprominya adalah Anda menyimpan salinan, tetapi keuntungannya adalah akses mendekati waktu nyata tanpa perlu membangun pipeline, tanpa penuh pipeline, tanpa manajemen jadwal, dan tanpa pemeliharaan yang perlu dikhawatirkan. Ijinkan saya memberikan contoh kasus yang nyata. Perusahaan Anda menjalankan ERP di SQL Server yang menampung semua data keuangan, faktur pembayaran, dan buku besar. Di masa lalu, Anda harus membangun tugas ETL yang berjalan setiap malam, mengekstrak data, mengubahnya, dan memuatnya ke gudang data. Tugas itu sering rusak, seseorang harus memperbaikinya, dan datanya selalu tertinggal setidaknya satu hari. Dengan mirroring, Anda cukup mengaktifkannya sekali, dan Fabric akan mereplikasi data ke OneLag secara berkelanjutan. Laporan Power BI Anda membaca langsung dari OneLag dan melihat data yang baru berusia beberapa menit, bukan jam atau hari, tanpa harus menyentuh pipeline. Kini Anda memiliki data di OneLag dari pintasan, dari mirroring, dan dari unggahan langsung. Bagaimana cara benar menggunakan? OneLag dan 3 penyimpanan data. Jadi OneLag adalah lapisan penyimpanan, tempat semua file Anda berada. Namun masalahnya, Anda sebenarnya tidak bekerja langsung dengan OneLag. Sebagai gantinya, DataStore, yaitu antarmuka yang memberi Anda cara berbeda untuk mengolah data dasar yang sama. Ada 3 data store utama di Fabric, yaitu LakeHouse, Warehouse, dan EventHouse. Semuanya menyimpan data di OneLag yang sama, namun masing-masing memiliki tujuan yang berbeda. Mari kita mulai dengan LakeHouse, penyimpanan data fleksibel yang menerima file seperti CSV, JSON, dan gambar, serta tabel Delta. Anda menggunakannya saat melakukan rekayasa data, pembelajaran mesin, atau menampung data mentah dari sistem sumber. Ini adalah wadah kerja tempat Anda membersihkan, mengubah, dan menyiapkan data. Jika Anda sedang membangun arsitektur medali dengan lapisan perunggu, perak, dan emas, LakeHouse adalah tempatnya. Anda dapat mengaksesnya melalui notebook Spark, atau melalui titik akhir analitik SQL untuk query baca saja. Selanjutnya adalah Warehouse, penyimpanan data terstruktur. Ini memberi Anda dukungan baca dan tulis di SQL penuh, sehingga Anda bisa membuat tabel, view, prosedur tersimpan, fungsi, serta menjalankan pernyataan insert, update, dan delete. Rasanya seperti database SQL server tradisional, karena dirancang bagi mereka yang berpikir dalam SQL. Gunakan Warehouse saat Anda membangun laporan BI, menjalankan agregasi kompleks, atau bermigrasi dari gudang data yang sudah ada. Anggap ini sebagai lapisan emas untuk laporan perusahaan. Lalu ada EventHouse, penyimpanan data real-time yang dibangun di atas mesin kustod, teknologi yang sama dibalik Azure Data Explorer. Ini menangani data streaming, log, telemetri IoT, dan klik stream apapun yang masuk dengan cepat dan perlu segera diquery. Anda mengueringnya dengan kaki albasa query kustod. Dan saat Anda mengaktifkan ketersediaan OneLake, data kejen tersebut dapat diakses oleh LakeHouse dan Warehouse sebagai tabel delta. Jadi inilah yang perlu Anda pahami. Ketiganya menyimpan data mereka di OneLake yang sama. Tabel yang dibuat di LakeHouse dapat dibaca oleh Query Warehouse. Tabel di Warehouse dapat diakses dari buku catatan Spark. Data yang dimasukkan ke EventHouse dapat ditampilkan sebagai tabel delta untuk Power BI. Keduanya bukan basis data terpisah, melainkan tampil beda ke data Lake yang sama. Hanya orang salah, amin-amin. Mereka mengira LakeHouse, Warehouse, dan EventHouse adalah produk yang bersaing, padahal bukan. Anda justru menggunakan ketiganya karena masing-masing menyelesaikan masalah yang berbeda. LakeHouse untuk rekayasa data, Warehouse untuk BI, EventHouse untuk waktu nyata, dan semuanya berbagi penyimpanan yang sama. OneLake menangani penyimpanan dan penyimpanan data menangani aksesnya. Namun siapa yang bisa melihat apa? Keamanan dan tata kelola di OneLake. Karena semua data Anda berada di satu tempat, keamanan menjadi lebih sederhana. Anda mengelola akses di satu titik, bukan di 10 sistem yang berbeda. Tidak perlu lagi mengatur izin di CRM, lalu di Warehouse, kemudian di Power BI. OneLake memberikan Anda satu model keamanan untuk segalanya. Pada tingkat atas, Anda memiliki peran ruang kerja, admin, anggota, kontributor, dan penampil. Ini mengontrol siapa yang dapat bekerja tertentu. Jika seseorang adalah penampil, mereka dapat melihat item, tetapi tidak dapat mengubah. Jika mereka adalah admin, mereka mengontrol segala. Bukup sederhana, Anda bisa melangkah lebih cepat. Peran keamanan OneLake memungkinkan Anda mengontrol akses di tingkat folder, tingkat tabel, tingkat kolom, bahkan tingkat kolom, bahkan tingkat baris. Misalnya, keamanan tingkat kolom berarti Anda dapat menyembunyikan informasi gaji dari semua orang kecuali HR. Keamanan tingkat baris berarti manajer penjualan hanya melihat data wilayah mereka sendiri. Dan ini berfungsi dengan cara yang sama di semua penyimpanan data karena semuanya berada di OneLake yang sama. Ada juga katalog OneLake, tampilan terpusat tempat Anda dapat melihat semua data di semua ruang kerja. Anda dapat menemukan set data bersertifikat, memeriksa siapa pemiliknya, dan mengelola tetap kelola dari satu tempat. Ini terintegrasi dengan Microsoft Purview untuk klasifikasi, label sensitivitas, dan penjagaan kehilangan data. Jadi, jika Anda perlu menandai data tertentu sebagai rahasia atau sangat terbatas, Anda dapat melakukannya di tingkat lake dan itu berlaku di mana saja. Dan ada diagnostik OneLake yang mencatat siapa yang mengakses apa dan kapan. Ini berguna untuk audit, pemeriksaan kepatuhan, dan menjawab pertanyaan siapa yang mengakses data ini minggu lalu. Ini mencatat setiap operasi baca dan tulis serta menyimpan log tersebut sebagai file JSON di dalam lake house. Anda dapat menganalisisnya dengan Spark SQL atau Power BI. Gambaran besarnya adalah satu model keamanan untuk semua data Anda alih-alih mengelola aturan terpisah untuk setiap alat. Itu adalah penyederhanaan yang sangat besar bagi organisasi manapun. Poin praktis Sepertinya ini bagi Anda. Jadi apa artinya ini jika Anda memulai perjalanan fabrik Anda hari ini? Mari kita bedah. Jika Anda membangun platform data baru, OneLake menghilangkan kebutuhan untuk merancang perpindahan data yang rumit. Anda tidak perlu merencanakan bagaimana aliran data dari danau ke gudang, lalu ke model semantik. Cukup masukkan ke dalam OneLake dan setiap alat akan membacanya. Satu OneLake, satu salin. Telah keseluruhan setelah. Jika Anda bermigrasi dari sistem lama, pintasan dan pencerminan memungkinkan Anda membiarkan data tetap di tempatnya sambil beralih beban kerja secara bertahap. Tidak perlu migrasi besar-besaran. Arahkan pintasan ke data lag Anda yang sudah ada. Cerminkan basis data SQL Server Anda. Mulai gunakan fabrik sementara sistem lama Anda tetap berjalan. Anda bergerak soal kecepatan Anda. Inilah perubahan pola pikirnya. Berpikir tentang penyimpanan per proyek. Berhentilah membuat data lag baru untuk setiap inisiatif baru. Mulai berpikir tentang satu danau bersama yang diakses oleh setiap proyek. Data tim penjualan Anda, data tim keuangan Anda, data tim teknik Anda. Semuanya ada di tempat yang sama. Mereka hanya melihat bagian yang berbeda. Bagi pengguna Power BI, laporan membaca langsung dari OneLag. Tidak ada impor terpisah, tidak ada model semantik duplikat. Datanya segar karena merupakan data yang sama dengan dikerjakan oleh data engineer. Bagi data engineer, itu berarti lebih sedikit pipeline untuk dibangun, dipelihara, dan diperbaiki. Anda masukkan data satu kali sih. Semua orang hanya mereferensikannya. Intinya adalah, OneLag bukan sekadar data lag biasa. Ini adalah fondasi yang membuat fabrik berbeda dari apapun sebelumnya. Itulah alasan Anda bisa berhenti menyalin data dan mulai mempercayainya. Jadi itulah dia. OneLag adalah data lag tunggal organisasi Anda yang dibangun dengan prinsip satu salinan. Satu salin fisik data yang dapat diakses oleh alat apapun, tim apapun, beban kerja apapun. Tidak ada lagi duplikasi, tidak ada lagi kebingungan tentang versi mana yang benar. Pekerjaan rumah Anda sederhana. Mulailah dengan pintasan dari sumber eksternal atau cerminkan basis data. Lihat betapa sederhananya jika Anda tidak perlu membangun pipeline hanya untuk memindahkan data. Kebanyakan organisasi tidak akan melakukan perubahan ini dengan cepat. Jadi lapih yang melakukan. Jika episode ini membantu Anda memahami OneLag, berlanggananlah Microsoft Knowledge Nuggets untuk konten fabric lainnya dalam bahasa yang sederhana. Dan bagikan ini kepada seseorang yang masih mengelola lima data list. Mereka berima kasih. Seseorang yang masih mengelola