Tingkatkan Pelatihan AI dengan Microsoft Fabric Notebooks

By Mirko Peters · 2026-08-28

Proyek kecerdasan buatan dan pembelajaran mesin membutuhkan daya komputasi yang sangat besar, integrasi data yang mulus, dan alur pemrosesan yang efisien. …

Automatically translated with AI from the original post. Read the English original

Proyek kecerdasan buatan dan pembelajaran mesin membutuhkan daya komputasi yang sangat besar, integrasi data yang mulus, dan alur pemrosesan yang efisien. Selama ini, ilmuwan data kerap kewalahan menghadapi beban memindahkan kumpulan data besar antarlingkungan yang berbeda, mengelola perangkat yang terpisah-pisah, serta menanggung latensi yang signifikan selama sesi pelatihan. Kini, tersedia solusi terpadu yang menjembatani rekayasa data berskala besar dengan pengembangan pembelajaran mesin yang gesit. Dengan memanfaatkan Microsoft Fabric Notebooks, tim dapat merampingkan seluruh alur operasional mereka, mulai dari penyerapan data mentah hingga penerapan model.

Dalam artikel blog ini, kami akan memperluas konsep inti yang dibahas dalam episode podcast kami, Train AI Models with Microsoft Fabric Notebooks. Kami akan membahas secara mendalam cara menyiapkan lingkungan Anda, menyiapkan kumpulan data secara efisien, menjalankan tugas pelatihan, mengelola model, dan menerapkan praktik terbaik yang akan meningkatkan alur kerja AI Anda.

Pengaturan Fabric Notebooks

Menyiapkan ruang kerja di Fabric Notebooks memberi Anda fondasi yang kuat untuk pelatihan model AI. Bagian ini memberikan gambaran umum Fabric Notebooks dan memandu Anda melalui setiap langkah, mulai dari pembuatan akun hingga membuka notebook pertama Anda. Anda akan melihat betapa mudahnya terhubung dengan data Anda dan memanfaatkan Spark untuk analitik yang andal.

Mengakses Microsoft Fabric

Membuat Akun

Untuk memulai, Anda memerlukan akses ke Fabric. Anda dapat membuat akun Fabric gratis, yang memungkinkan Anda masuk ke aplikasi Fabric. Jika Anda sudah menggunakan Microsoft Power BI, Anda dapat memakai akun Power BI yang sudah ada. Proses sederhana ini memastikan Anda dapat langsung bekerja dengan notebook.

Tip: Tidak ada masalah akses besar yang dilaporkan oleh pengguna, jadi Anda dapat berharap proses pendaftaran yang lancar.

Menavigasi Ruang Kerja

Setelah masuk, Anda akan melihat ruang kerja Fabric. Di sini, Anda dapat mengatur proyek, mengelola sumber daya, dan mengakses lakehouse Anda. Dasbor ruang kerja membantu Anda menemukan notebook, kumpulan data, dan aset lainnya dengan cepat. Anda juga dapat memeriksa kapasitas dan pengaturan ruang kerja untuk memastikan Anda memenuhi persyaratan proyek AI.

Membuka Notebook

Pemilihan Kernel

Setelah menyiapkan ruang kerja, Anda dapat mulai membuat notebook baru. Saat membuka notebook, Anda memilih kernel. Kernel mengatur bahasa pemrograman dan lingkungan. Fabric Notebooks mendukung Python dan bahasa lainnya, sehingga fleksibel untuk berbagai tugas AI.

Pengaturan Pustaka

Sebelum memulai analisis, Anda mungkin perlu memasang atau mengimpor pustaka. Fabric Notebooks memudahkan proses ini. Anda dapat menambahkan pustaka untuk ilmu data, pembelajaran mesin, atau visualisasi langsung di notebook. Pengaturan ini memungkinkan Anda menggunakan Spark untuk memproses kumpulan data besar dan terhubung dengan lakehouse secara mulus.

Saat membuat notebook baru, Anda terhindar dari repotnya memindahkan data antaralat. Anda dapat memproses, menganalisis, dan memvisualisasikan data sekaligus dalam satu tempat. Integrasi ini menghemat waktu dan mengurangi kesalahan. Jika Anda baru mengenal Fabric, Anda mungkin merasakan kurva pembelajaran, tetapi ruang kerja terpadu dan akses data langsung membuat prosesnya jauh lebih mudah.

Catatan: Jika Anda mengerjakan proyek atau tim yang besar, Fabric Notebooks membantu Anda menghindari alur kerja yang terpecah-pecah. Anda dapat menjaga semuanya tetap terorganisasi dan efisien sejak awal.

Persiapan Data di Fabric Notebooks

Menyiapkan dataset Anda di notebook Fabric menjadi fondasi untuk pelatihan model AI yang berhasil. Anda dapat menyederhanakan setiap langkah, mulai dari ingestion data hingga visualisasi data, dengan memanfaatkan alat bawaan dan fitur bertenaga Spark.

Mengimpor Data

Menghubungkan ke Lakehouse

Anda mulai dengan menghubungkan notebook ke lakehouse. Koneksi ini memberi Anda akses langsung ke dataset, sehingga Anda tidak perlu memindahkan file antarsistem. Anda dapat bekerja dengan data di tempat data itu berada, yang menghemat waktu dan mengurangi kesalahan. Lakehouse menyimpan dataset Anda dalam delta table, sehingga informasi mudah dimuat dan diperbarui sesuai kebutuhan.

Memuat Data dengan Spark

Setelah terhubung, Anda menggunakan Spark untuk ingestion data. Spark memungkinkan Anda memuat dataset berukuran besar dengan cepat dan efisien. Anda dapat membaca data dari berbagai sumber, termasuk file CSV, file Parquet, atau tabel yang sudah ada di lakehouse. Spark menangani beban berat pemrosesan, sehingga Anda dapat fokus bekerja dengan data tanpa khawatir soal batas memori.

Tips: Gunakan Spark DataFrames untuk memproses dataset Anda dalam skala besar. Pendekatan ini membantu Anda mengelola dataset berukuran sangat besar tanpa memperlambat alur kerja Anda.

Pembersihan Data

Menangani Nilai yang Hilang

Membersihkan dataset adalah langkah kunci sebelum melatih model apa pun. Anda dapat menjalankan Data Wrangler dari notebook Fabric untuk mengeksplorasi dataset dan menemukan nilai yang hilang. Data Wrangler menyediakan pembuatan kode otomatis untuk tugas pembersihan yang umum, seperti mengisi nilai yang hilang atau menghapus baris yang tidak lengkap. Anda dapat mengekspor langkah-langkah pembersihan ini sebagai fungsi yang dapat digunakan kembali di pandas atau PySpark, sehingga alur kerja Anda menjadi lebih efisien.

Rekayasa Fitur

Rekayasa fitur membantu Anda membuat variabel baru dari dataset yang sudah ada. Anda dapat menggunakan alat berbasis Python di notebook Fabric untuk mentransformasi data dan membangun fitur yang meningkatkan akurasi model. Spark memudahkan penerapan transformasi ini ke seluruh dataset, bahkan jika Anda memiliki jutaan baris.

Praktik Terbaik:

1. Gunakan Spark dan alat Python untuk membersihkan dan mentransformasi dataset Anda.
2. Buat eksperimen untuk menguji berbagai kumpulan fitur.
3. Lacak proses dan hasil Anda menggunakan MLflow di UI Fabric.

Eksplorasi Data

Statistik Ringkasan

Mengeksplorasi dataset membantu Anda memahami struktur dan kualitasnya. Anda dapat menghasilkan statistik ringkasan, seperti rata-rata, median, dan standar deviasi, langsung di notebook. Statistik ini memberi Anda gambaran cepat tentang dataset dan menyoroti masalah yang perlu perhatian.

Visualisasi

Visualisasi data membuat dataset Anda lebih hidup. Notebook Fabric mendukung fungsi visualisasi bawaan dan terintegrasi dengan pustaka seperti Matplotlib dan Bokeh. Anda dapat mengubah hasil tabular menjadi bagan tanpa menulis kode tambahan. Fungsi display memungkinkan Anda berinteraksi dengan data dan dengan mudah menemukan tren atau outlier.

Catatan: Visualisasi data interaktif membantu Anda mengambil keputusan yang lebih baik saat menyiapkan dataset untuk pelatihan model AI.

Melatih Model di Fabric

Menulis Kode Pelatihan

Menggunakan Python atau R

Anda dapat menulis kode pelatihan model dalam beberapa bahasa di Microsoft Fabric Notebooks. Platform ini mendukung:

• PySpark (Python)
• Spark (Scala)
• Spark SQL
• SparkR (R)

Sebagian besar pengguna memilih Python karena fleksibilitas dan ekosistemnya yang kaya. Anda juga dapat menggunakan R jika lebih menyukai alat statistiknya. PySpark memungkinkan Anda menskalakan job pembelajaran di banyak node, yang penting untuk dataset besar. Python cocok untuk deep learning dan pengembangan model pytorch. Jika ingin menggunakan pytorch, Anda dapat menginstal pustakanya dan langsung membangun model pytorch. Anda juga dapat menggunakan SparkR untuk statistical learning atau Spark SQL untuk kueri data yang cepat.

Menyusun Sel Kode

Atur kode Anda ke dalam sel yang jelas dan logis. Mulailah dengan pemuatan dan pembersihan data. Tambahkan sel untuk rekayasa fitur dan analisis eksplorasi. Letakkan kode pelatihan model di sel tersendiri. Struktur ini membantu Anda melakukan debugging dan menjalankan ulang bagian tertentu dari eksperimen machine learning tanpa mengulang langkah sebelumnya. Anda juga dapat menambahkan sel markdown untuk menjelaskan logika dan mendokumentasikan eksperimen Anda. Pendekatan ini membuat notebook Anda mudah dibaca dan dibagikan kepada orang lain.

Pemilihan Algoritma

Memilih Model

Anda perlu memilih algoritma yang tepat untuk tugas Anda. Regresi logistik cocok untuk masalah klasifikasi biner. Anda juga dapat menggunakan pustaka seperti scikit-learn, PySpark ML, TensorFlow, atau pytorch untuk model yang lebih canggih. Jika ingin membangun model pytorch, Anda dapat memanfaatkan dukungan GPU di Fabric untuk mempercepat proses pembelajaran. PyTorch populer untuk deep learning, pengenalan gambar, dan pemrosesan bahasa alami. Anda juga dapat menggunakan pytorch untuk transfer learning dan fine-tuning model pra-latih.

Saat memilih algoritma, pertimbangkan ukuran data, jenis masalah, dan sumber daya yang tersedia. FLAML, yang dikembangkan oleh Microsoft Research, membantu Anda melatih model secara efisien. FLAML menggunakan lebih sedikit komputasi dan bekerja dengan baik pada job paralel. Hal ini menjadikannya pilihan yang baik untuk eksperimen machine learning berskala besar.

Mengatur Hiperparameter

Hiperparameter mengendalikan cara model Anda belajar. Anda dapat menggunakan flaml.tune untuk mencari pengaturan terbaik. Fabric memungkinkan Anda menjalankan banyak percobaan tuning sekaligus berkat pemrosesan paralel Spark. Artinya, Anda dapat menguji laju pembelajaran, ukuran batch, atau jumlah layer untuk model pytorch Anda dengan cepat. Anda dapat melacak setiap percobaan dalam eksperimen machine learning menggunakan experiment tracking. Alat visualisasi membantu Anda membandingkan hasil dan memilih konfigurasi terbaik. Anda dapat melihat pengaturan mana yang paling efektif untuk pengujian dan pelatihan model Anda.

Tips: Gunakan experiment tracking untuk mencatat setiap percobaan, metrik, dan parameter. Hal ini membantu Anda mengulangi eksperimen yang berhasil dan menghindari kesalahan.

Menjalankan Job Pelatihan

Memantau Kemajuan

Anda dapat memantau job pelatihan secara real time. Notebook Fabric menampilkan performa setiap langkah. Mode High Concurrency mempercepat job Anda sekitar 30%. Anda mendapatkan log terperinci untuk setiap langkah notebook. Integrasi MLflow memberikan autologging, sehingga Anda tidak perlu mencatat metrik secara manual. Anda dapat menentukan sesi pelatihan dan memilih parameter serta metrik mana yang akan dicatat. Hal ini memudahkan Anda melacak kemajuan pembelajaran dan membandingkan berbagai eksperimen.

Terlihat bahwa PySpark Notebooks menangani dataset besar dengan lebih baik. Hal ini penting saat Anda melatih model pytorch atau model deep learning lainnya pada data besar.

Checkpointing

Checkpointing memungkinkan Anda menyimpan state model selama pelatihan. Jika job berhenti atau Anda ingin menjeda, Anda dapat melanjutkan dari checkpoint terakhir. Hal ini berguna untuk job pelatihan model pytorch yang berjalan lama. Anda tidak kehilangan kemajuan jika perlu memulai ulang. Anda juga dapat menggunakan checkpoint untuk menguji strategi pembelajaran yang berbeda atau melanjutkan eksperimen machine learning dari titik tertentu.

Catatan: Selalu atur checkpoint saat melatih model pada dataset besar. Praktik ini menghemat waktu dan melindungi pekerjaan Anda.

Kini Anda memiliki alat untuk melatih, menguji, dan memantau model machine learning di Microsoft Fabric Notebooks. Anda dapat menjalankan eksperimen, menyetel hiperparameter, dan membangun solusi model pytorch yang andal untuk tantangan data science apa pun.

Alur Kerja Pelatihan Model AI

Anda dapat memaksimalkan kekuatan pelatihan model AI dengan menguasai alur kerja di Microsoft Fabric Notebooks. Bagian ini memandu Anda melalui evaluasi terdistribusi, tuning model, dan penggunaan fungsi AI bawaan. Anda akan melihat bagaimana Spark, pemantauan real-time, dan fitur Copilot membantu Anda membangun model yang lebih baik dengan lebih cepat.

Evaluasi Terdistribusi

Mengevaluasi Performa

Anda dapat mengevaluasi performa model di seluruh dataset besar menggunakan komputasi terdistribusi Spark. Spark membagi data uji menjadi bagian-bagian kecil dan memprosesnya secara paralel. Artinya, Anda tidak perlu menunggu berjam-jam untuk mendapatkan hasil. Anda dapat memeriksa metrik seperti akurasi, presisi, dan recall langsung di dalam notebook. Pendekatan ini efektif untuk deep learning dengan pytorch, ketika Anda perlu menguji model pada jutaan rekaman. Pemantauan real-time di Fabric memungkinkan Anda melihat penggunaan sumber daya dan kemajuan job selama evaluasi berjalan.

Membandingkan Model

Anda dapat membandingkan berbagai model secara berdampingan di notebook. Misalnya, Anda dapat melatih model pytorch dan model scikit-learn pada dataset yang sama. Anda dapat mencatat hasil setiap model dan memvisualisasikannya dengan bagan bawaan. Hal ini membantu Anda memilih model terbaik untuk proyek pelatihan model AI. Anda juga dapat menggunakan pelacakan eksperimen untuk menyimpan hasil dan membagikannya kepada tim. Dengan cara ini, eksperimen yang berhasil dapat diulang dengan mudah dan alur kerja Anda menjadi lebih baik.

Penyetelan Model

Pencarian Hiperparameter

Anda dapat meningkatkan akurasi model dengan menyetel hiperparameter. Microsoft Fabric Notebooks mendukung alat canggih seperti Optuna untuk tugas ini. Berikut alur kerja sederhana yang dapat Anda ikuti:

1. Buat study dengan Optuna untuk menyimpan hasil trial:

   study = optuna.create_study(direction="maximize")

2. Optimalkan study selama jumlah trial yang telah ditentukan:

   study.optimize(objective, n_trials=60, show_progress_bar=True)

3. Cetak hasil trial:

   print("Number of finished trials:", len(study.trials))

Anda juga dapat memvisualisasikan pencarian dengan plot. Gunakan plot_optimization_history(study).show() untuk melihat peningkatan model dari waktu ke waktu. Coba plot_param_importances(study).show() untuk mengetahui pengaturan mana yang paling berpengaruh. Gunakan plot_parallel_coordinate(study).show() untuk mengeksplorasi bagaimana berbagai parameter saling berinteraksi. Jangan hanya menyalin kode, tetapi sesuaikan dan bereksperimenlah dengan berbagai hiperparameter untuk mendapatkan hasil terbaik bagi model pytorch maupun model lainnya.

Menghindari Overfitting

Anda ingin pelatihan model AI menghasilkan model yang bekerja baik pada data baru, bukan hanya pada himpunan pelatihan. Overfitting terjadi ketika model terlalu baik mempelajari data pelatihan dan gagal pada contoh baru. Anda dapat mencegahnya dengan menggunakan teknik cross-validation dan stacking.

Stacking umumnya menggunakan cross-validation untuk menghasilkan prediksi bagi meta-model, sehingga tidak ada informasi dari data pelatihan yang bocor ke data pengujian. Pendekatan ini menambah kompleksitas, tetapi juga memberikan ketahanan yang lebih baik.

Anda juga dapat menggunakan early stopping di pytorch, regularisasi, dan lapisan dropout agar model lebih tangguh. Selalu periksa skor validasi Anda dan sesuaikan proses pelatihan jika ada tanda-tanda overfitting.

Fungsi AI Bawaan

Klasifikasi Teks

Anda dapat menghemat waktu untuk tugas-tugas umum dengan menggunakan fungsi AI bawaan di Microsoft Fabric Notebooks. Untuk klasifikasi teks, Anda dapat menggunakan fungsi Classify untuk mengelompokkan email, tiket dukungan, atau dokumen ke dalam kategori. Fungsi ini cocok untuk kasus bisnis seperti mengarahkan permintaan mendesak atau memberi label pada masukan pelanggan. Anda juga dapat membangun model pytorch kustom untuk tugas klasifikasi yang lebih kompleks.

Analisis Sentimen

Analisis sentimen membantu Anda memahami nada teks, seperti ulasan pelanggan atau postingan media sosial. Anda dapat menggunakan fungsi Sentiment Analysis untuk menandai komentar negatif dan meresponsnya dengan cepat. Fitur ini langsung tersedia di notebook, sehingga Anda tidak perlu menulis kode yang rumit. Anda juga dapat mengombinasikan fungsi bawaan dengan model pytorch Anda sendiri untuk hasil yang lebih baik.

Berikut tabel fungsi AI bawaan yang dapat Anda gunakan dalam alur kerja pelatihan model AI Anda:

Anda dapat menggunakan Copilot untuk menghasilkan kode, menyarankan perbaikan, dan mengotomatiskan langkah-langkah yang berulang. Hal ini membuat proses pelatihan model AI Anda lebih cepat dan lebih produktif. Anda dapat fokus membangun dan menyetel model pytorch, sementara Copilot menangani pekerjaan rutin.

Dengan mengikuti alur kerja ini di Microsoft Fabric Notebooks, Anda dapat memperluas skala pelatihan model AI, menyetel model pytorch secara efisien, dan menggunakan fungsi AI bawaan untuk menyelesaikan masalah dunia nyata.

Manajemen dan Penerapan Model

Menyimpan Model

Ekspor dan Versioning

Anda memerlukan cara yang andal untuk menyimpan dan melacak model pytorch Anda di fabric. Mulailah dengan menggunakan mlflow untuk mencatat setiap proses pelatihan. Mlflow merekam parameter, metrik, dan artefak Anda. Hal ini membantu Anda menemukan versi terbaik dari model pytorch Anda saat dibutuhkan. Aktifkan autologging di awal eksperimen pelacakan. Dengan begitu, Anda menangkap semua detail penting sejak proses pertama. Log tidak bisa ditambahkan belakangan, jadi mulailah sejak dini.

Anda dapat menggunakan time travel Delta Lake untuk mengunci versi pasti data pelatihan Anda. Dengan begitu, hasil Anda selalu bisa direproduksi. Daftarkan setiap model pytorch di mlflow model registry. Sertakan versi, hash data pelatihan, metrik performa, dan pemiliknya. Ini menciptakan jejak audit yang jelas untuk mengelola model. Sebelum memindahkan model ke produksi, siapkan proses tinjauan manusia. Gunakan persetujuan pull request Azure DevOps yang terhubung dengan pipeline deployment fabric. Langkah ini menjaga alur kerja Anda tetap aman dan sesuai kepatuhan.

Tip: Selalu simpan model pytorch terbaik Anda dalam kondisi terdaftar di mlflow. Anda dapat kembali ke versi sebelumnya jika menemukan masalah.

Berbagi Notebook

Fitur Kolaborasi

Anda dapat bekerja sama dengan tim dengan mudah di notebook. Platform ini terhubung langsung ke Lakehouse Anda, sehingga semua orang menggunakan data yang sama. Notebook menggabungkan kode, komentar, dan keluaran dalam satu tempat. Hal ini memudahkan berbagi ide dan hasil. Anggota tim dapat menggunakan bahasa pemrograman favorit mereka, seperti Python atau R, pada kumpulan data yang sama. Fleksibilitas ini membantu semua orang berkontribusi dalam mengelola model dan melacak eksperimen.

Men-deploy Model

Integrasi dengan Fabric Pipelines

Anda dapat men-deploy model pytorch menggunakan pipeline deployment fabric. Pipeline ini membantu Anda mengelola model di lingkungan pengembangan, pengujian, dan produksi. Anda tetap memegang kendali dan konsistensi di setiap tahap. Alur kerja visual di Microsoft Fabric Deployment Pipelines memperlihatkan posisi model pytorch Anda dan langkah berikutnya. Anda dapat mempromosikan model pytorch melalui lingkungan yang terkontrol. Proses ini memastikan tim Anda mengikuti praktik terbaik dalam mengelola model.

• Integrasikan dengan layanan Azure OpenAI menggunakan SynapseML.
• Gunakan Python SDK untuk deployment.
• Akses model pytorch Anda melalui REST API.
• Kasus penggunaan umum mencakup ringkasan teks dan analisis sentimen.

Inferensi Real-Time

Anda dapat menyajikan model pytorch Anda untuk inferensi real-time. Artinya, Anda dapat membuat prediksi terhadap data baru segera setelah data tersebut tiba. Misalnya, Anda dapat menggunakan model pytorch yang sudah di-deploy untuk mengklasifikasikan tiket dukungan atau menganalisis umpan balik pelanggan secara instan. Mlflow melacak setiap deployment, sehingga Anda tahu versi model pytorch mana yang sedang berjalan. Anda dapat memperbarui atau mengembalikan deployment dengan cepat jika diperlukan.

Catatan: Inferensi real-time membantu Anda merespons kebutuhan bisnis tanpa penundaan. Gunakan mlflow untuk memantau dan mengelola model pytorch Anda di lingkungan produksi.

Dengan mengikuti langkah-langkah ini, Anda dapat mengelola penyimpanan, berbagi, dan deployment model pytorch di fabric. Anda menjaga alur kerja tetap terorganisir dan hasil Anda tetap dapat direproduksi. Mlflow dan notebook memberi Anda alat yang dibutuhkan untuk melacak eksperimen dan mengelola model dalam skala besar.

Praktik Terbaik di Fabric Notebooks

Reproduktibilitas

Mendokumentasikan Alur Kerja

Anda sebaiknya selalu mendokumentasikan alur kerja agar proyek AI Anda mudah diulang dan dipahami. Dokumentasi yang baik membantu Anda dan tim melacak setiap langkah dalam proses pelatihan model. Mulailah dengan mendeskripsikan konteks bisnis untuk setiap eksperimen. Daftarkan model Anda dengan penjelasan yang jelas tentang apa yang diprediksinya, cara menggunakannya, dan batasan yang diketahui. Gunakan sel markdown di notebook Anda untuk menjelaskan logika dan keputusan Anda. Kebiasaan ini membuat pekerjaan Anda lebih mudah dibagikan dan ditinjau.

• Gunakan time travel Delta Lake untuk mengunci versi pasti data pelatihan Anda untuk setiap eksperimen.
• Pisahkan rekayasa fitur dari pelatihan dengan membuat tabel fitur yang dapat digunakan kembali.
• Aktifkan autologging di awal eksperimen Anda untuk menangkap semua parameter dan hasil.
• Tahapkan model Anda sebelum produksi. Validasi terhadap data holdout dan bandingkan dengan model yang sedang digunakan.
• Jadwalkan pemeriksaan rutin untuk model drift dengan membandingkan prediksi dengan hasil nyata.

Tip: Dokumentasikan setiap eksperimen selama proses berjalan. Hal ini akan menghemat waktu Anda dan mencegah kebingungan di kemudian hari.

Manajemen Lingkungan

Mengelola lingkungan kerja memastikan hasil Anda tetap konsisten di setiap eksekusi. Anda sebaiknya mencatat versi semua pustaka dan dependensi yang digunakan. Praktik ini membantu Anda menghindari kejutan ketika Anda atau rekan tim menjalankan ulang notebook. Gunakan file lingkungan atau daftar paket untuk melacak konfigurasi Anda. Saat membagikan pekerjaan, sertakan detail ini agar orang lain dapat mereproduksi hasil Anda tanpa kendala.

Kolaborasi

Berbagi dengan Tim

Bekerja sama dalam tim di Fabric itu sederhana dan efektif. Anda dapat membagikan notebook kepada rekan kerja dan mengatur izin untuk setiap pengguna. Kontrol ini memungkinkan Anda memutuskan siapa yang dapat melihat atau mengedit pekerjaan Anda. Tim dapat menambahkan komentar di tingkat sel untuk membahas kode, mengajukan pertanyaan, atau mengusulkan perubahan. Fitur-fitur ini membantu semua orang tetap selaras dan memajukan proyek bersama-sama.

• Bagikan notebook langsung kepada tim Anda.
• Atur izin pengguna untuk mengontrol akses.
• Gunakan komentar di tingkat sel untuk umpan balik dan diskusi.

Tinjauan Kode

Tinjauan kode penting untuk kualitas dan pembelajaran. Notebook mendukung riwayat versi, sehingga Anda dapat melihat apa yang berubah dan kapan. Jika diperlukan, Anda dapat mengembalikan ke versi sebelumnya. Integrasi dengan Git memungkinkan Anda menggunakan kontrol sumber untuk pelacakan yang lebih baik. Alat-alat ini memudahkan Anda meninjau kode, menemukan kesalahan, dan menjaga keamanan proyek.

• Periksa riwayat versi untuk melacak perubahan.
• Kembalikan ke versi sebelumnya jika diperlukan.
• Gunakan integrasi Git untuk kontrol sumber tingkat lanjut.

Optimalisasi Kinerja

Manajemen Sumber Daya

Anda dapat mengoptimalkan kinerja dengan mengelola sumber daya secara bijak. Sesuaikan kapasitas komputasi dengan beban kerja Anda. Tingkatkan skala saat periode sibuk dan jeda sumber daya saat tidak digunakan. Kapasitas yang dipesan dan beban kerja spot dapat membantu Anda menghemat biaya. Atur anggaran dan peringatan untuk menghindari pengeluaran berlebih. Pantau puncak beban kerja untuk mendeteksi hambatan sejak dini.

Penanganan Data yang Efisien

Penanganan data yang efisien mempercepat proyek AI Anda. Proses data di tempatnya untuk meminimalkan perpindahan dan menghemat waktu. Bersihkan penyimpanan Anda untuk meningkatkan kinerja. Gunakan tabel fitur yang dapat digunakan kembali untuk menghindari pekerjaan berulang. Penyetelan hiperparameter paralel memungkinkan Anda menguji banyak pengaturan sekaligus, sehingga eksperimen Anda berjalan lebih cepat. Selalu lacak eksperimen Anda agar hasilnya tetap teratur.

Catatan: Penanganan data yang efisien dan pengelolaan sumber daya yang cerdas membantu Anda memaksimalkan manfaat proyek AI Anda.

Pemecahan Masalah

Saat bekerja dengan Microsoft Fabric Notebooks, Anda mungkin menghadapi tantangan yang memperlambat kemajuan Anda. Memahami cara memecahkan masalah umum membantu Anda menjaga proyek tetap berjalan sesuai rencana. Bagian ini memberikan langkah praktis untuk debugging dan mencari dukungan saat Anda membutuhkannya.

Debugging

Anda dapat menyelesaikan banyak masalah dengan mengikuti proses yang jelas. Mulailah dengan memeriksa Monitoring Hub di portal Microsoft Fabric. Alat ini menunjukkan apakah ada pipeline yang gagal atau ada kesalahan di workspace Anda. Jika Anda melihat masalah, periksa detailnya, seperti nama workspace, activator, dan sumber eventstream. Detail ini membantu Anda menemukan akar masalah dengan cepat.

Gunakan langkah-langkah berikut untuk melakukan debugging pada pipeline data dan notebook Anda:

1. Periksa Monitoring Hub untuk pekerjaan yang gagal atau kesalahan.
2. Validasi semua koneksi dan kredensial, terutama untuk Azure SQL atau layanan tertaut lainnya.
3. Gunakan mode debug untuk menelusuri pipeline data dan menemukan titik di mana pipeline tersendat.
4. Tinjau pengaturan penjadwalan dan pemicu untuk memastikan pekerjaan berjalan sesuai rencana.
5. Pantau penggunaan sumber daya untuk melihat apakah kinerja yang lambat berasal dari kapasitas yang terbatas.
6. Kunjungi Halaman Status Microsoft Fabric untuk memeriksa gangguan layanan atau pembaruan.
7. Ekspor dan impor pipeline menggunakan fitur 'Save As' jika Anda perlu menduplikasi atau mengatur ulang pipeline.
8. Dokumentasikan ID aturan, kondisi, cap waktu, dan objek terdampak untuk melacak apa yang terjadi.

Tip: Saat menjalankan dan melakukan debugging pada notebook, selalu simpan catatan perubahan dan tindakan. Kebiasaan ini memudahkan Anda menelusuri masalah dan membagikan temuan kepada tim Anda.

Sumber Dukungan

Jika Anda tidak dapat mengatasi masalah sendiri, ada beberapa opsi dukungan yang tersedia. Microsoft menyediakan komunitas yang kuat serta saluran bantuan resmi. Anda dapat memanfaatkan sumber daya ini untuk mendapatkan jawaban dan belajar dari orang lain.

• Microsoft Docs menyediakan panduan langkah demi langkah serta artikel pemecahan masalah.
• Forum komunitas memungkinkan Anda mengajukan pertanyaan dan mendapatkan saran dari sesama pengguna maupun staf Microsoft.
• Tiket dukungan menghubungkan Anda dengan pakar Microsoft untuk masalah yang lebih kompleks.
• Monitoring Hub dan halaman status membantu Anda tetap mengetahui masalah atau gangguan layanan yang sedang berlangsung.

Saat meminta bantuan, sertakan detail penting seperti nama workspace, sumber eventstream, ID aturan, dan waktu terjadinya masalah. Informasi ini membantu tim dukungan merespons lebih cepat dan lebih akurat.

Catatan: Berinteraksi dengan komunitas sering kali menghasilkan solusi cepat. Banyak pengguna berbagi tips dan praktik terbaik yang dapat membantu Anda menghindari masalah serupa di kemudian hari.

Dengan mengikuti langkah-langkah pemecahan masalah ini dan memanfaatkan sumber daya dukungan yang tersedia, Anda dapat mengatasi sebagian besar masalah pada notebook Fabric dan menjaga proyek Anda tetap berjalan.

Anda dapat mempercepat pelatihan model AI dengan Microsoft Fabric Notebooks. Antarmuka yang familiar, mirip dengan Power BI, membuat alur kerja Anda intuitif dan produktif. Anda bekerja dalam lingkungan terpadu yang menggabungkan rekayasa data, analitik, dan bantuan AI, sehingga Anda tidak perlu berpindah-pindah antaralat. Integrasi ini merampingkan setiap langkah, mulai dari persiapan data hingga penerapan.

Jelajahi sumber daya berikut untuk memperdalam keterampilan Anda:

• Microsoft Learn untuk latihan praktik
• Program sertifikasi untuk memvalidasi keahlian Anda
• Data Wrangler untuk pembersihan data yang mudah
• MLflow untuk pelacakan eksperimen
• Lakehouse untuk penyimpanan data terpadu

Mulailah perjalanan Anda hari ini dan buka potensi penuh pengembangan model AI yang skalabel dan efisien. Untuk mendengar lebih lanjut tentang teknik ini serta diskusi dari para pakar, pastikan Anda menonton episode podcast terkait: Train AI Models with Microsoft Fabric Notebooks.