Topik hari ini adalah topik yang hampir semua orang pernah mendengarnya, tetapi hampir tidak ada yang bisa menjelaskannya dengan meskipun saya. RIG, Retrieval Augmented Generation. Anda telah melihat akronim ini, di mana-mana pengumuman Microsoft ramah konferensi AI postingan blog, tetapi apa sebenarnya artinya? Dan lebih penting, mengapa Anda harus peduli? Begini masalahnya. Model bahasa besar seperti GPT-4O sangat hebat. Model ini dapat menulis esai, meringkas dokumen, bahkan menghasilkan kode. Tetapi keduanya memiliki dua masalah besar. Pertama, pengetahuan buku dalam waktu. Tanyakan kepada CCBT tentang sesuatu yang terjadi kemarin dan model tersebut tidak akan. Kedua, model ini tidak pernah melihat data internal perusahaan Anda, kebijakan Anda, detail produk, email pelanggan. Jadi ketika Anda mengajukan pertanyaan kepada LLM tentang bisnis Anda mendebak. Jadi disitulah Retrieval Augmented Generation berperan, RIG bukanlah model baru, bukan GPT yang lebih besar atau lebih. Ini adalah perkata yang sama sekali berbeda. Alih-alih meminta LLM untuk mengambil jawaban dari memori pelatihannya, RIG pertama-tama mencari informasi yang tepat dari data Anda sendiri dan menyerahkan informasi tersebut ke model di samping pertanyaan. Model kemudian menggunakan konteks tersebut untuk memberi Anda jawaban yang dihasarkan pada konten nyata dan terkini, bukan tebakan. Tanpa RAG, AI Anda bekerja dari memori yang sudah ada selama berbulan-bulan atau bertahunan. Dengan RAG, AI bekerja dari dokumen Anda yang saat ini. Itulah perbedaan antara AI yang terdengar percaya diri, tetapi mungkin salah, dan AI yang menunjukkan dengan tepat dari mana ia mendapatkan jawaban. Ini yang akan kita bahas hari. Pertama, kita akan melihat dua masalah yang membuat RAG diperlukan. Kemudian, kita akan menguraikan apa sebenarnya RAG itu, yaitu pengambilan, penambahan, dan pembuat. Selanjutnya, kita akan membahas layanan Azure utama, Azure AI Search, Azure Open AI, dan Azure AI Foundry. Dan kita akan menyelesaikannya dengan contoh nyata sehingga Anda dapat melihat bagaimana bagian banyak lain. Mari kita mulai dengan masalahnya sendiri. Setelah Anda melihatnya, solusinya menjadi jelas. Kedua masalah yang dimiliki LRM. Apa yang salah dengan model bahasa yang besar? Sebenarnya ada dua hal. Pertama, pengetahuan mereka dibuku. Mbak pikirkan. Ketika GPT-4O diwati, model tersebut belajar dicuplikan internet yang kini sudah berbulan-bulan atau bertahun-tahun. Jadi, model tersebut tidak mengetahui tentang produk baru peraturan tergini atau berita kemarin. Tanyakan tentang perubahan kebijakan dari minggu lalu dan model tersebut tidak akan tak. Informasi itu tidak ada dalam data pelatihannya. Kedua, LLM tidak pernah melihat data pribadi Anda, dokumen internal, email pelanggan, basis data milik Anda. Model tersebut tidak memiliki akses apapun ke semua itu. Jadi, keseorang karyawan bertanya tentang proses bisnis spesifik Anda, model tersebut tidak dapat menjawab. Model tersebut tidak mengetahui. Beberapa orang berpikir bahwa fine tuning menyelesaikan masat. Anda mengambil model dasar dan melatihnya sedikit lebih banyak pada data-data. Namun fine tuning memiliki masalahnya sendiri. Itu mahal. Anda membayar waktu GPU dan upaya rekayasa. Itu tidak memperbaiki kebasisan. Setelah Anda melakukan fine tuning, model tersebut masih dibuka pada titik waktu itu. Dan model ini tidak dapat menangani data yang sering berubah seperti tingkat inventaris atau harga. Penyempurnaan seperti mengacari seseorang buku teks dengan menghafal. Berguna tetapi mereka tetap tidak dapat mencari koran hari ini. Polusi sebenarnya lebih sederhana. Berikan model akses ke pengetahuan Anda saat dibutuhkan untuk menjawab alih-alih mencoba menjejalkan semuanya ke dalam memorinya. Jangan membuatnya menghafal semua. Biarkan model mencari berbagai hal secara real time dari data alkuan. Tulang dilakukan RR. Ide sederhana tetapi membahas segalanya. Polusi sebenarnya RRG itu. Jadi berikut RRG dalam satu kali ini. Alih-alih meminta model untuk mengambil jawaban dari data pelatihannya. Pertama-tama kita mencari informasi yang relevan. Lalu memasukkannya ke model di samping pertanyaan. Setelah ide-indinya. Tiga langkah sederhana. Mengambil, menambah, dan menghasilkan. Ijinkan saya memberi Anda sebuah analogi. Bayangkan seorang pustakawan. Anda masuk ke perpustakaan Anda mengajukan pertanyaan. Anda tidak akan mengira pustakawan itu telah menghafal setiap buku. Tuk konyol. Sebaliknya, Anda meminta mereka untuk menemukan buku yang tepat. Membukannya di halaman yang tepat dan membacakan jawaban. Pustakawan tidak menghafal apapun. Mereka mengambil terlebih dahulu lalu membaca. Dan itulah yang dilakukan RRG. Pengambilan pertama, pembuatan kedua. Jadi beginilah cara kerjanya dalam praktek. Kemudian mengajukan pertanyaan. Sistem kemudian mencari bahasi pengetahuan. Dokumen Anda, data Anda, informasi pribadi Anda. Apapun yang ditemukannya, dimasukkan ke dalam model bahasa besar dan model tersebut menghasilkan jawaban berdasarkan konteks tersebut. Dan inilah bagian yang penting. LM tidak pernah melihat data mentah Anda. Ia hanya melihat apa yang diberikan sistem pengambilan. Bukan kekurang. Jadi ini adalah fitur keamanan. Dokumen sensitif Anda tetap berada di penyimpanan Anda sendiri. Pada waktu query model hanya mendapatkan cupikan relevan yang dibutuhkan untuk menjawab pertanyaan spesifik itu. Tidak ada pelatihan pada data Anda, tidak ada hafalan, tidak ada kebocoran. Data Anda tetap berada di tempatnya. Jadi muncahkan kedua masalah yang telah kita bicarakan sebelum. Data basic. Bukan masalah. Basis pengetahuan Anda tetap terkini. Data pribadi. Model hanya melihat apa yang Anda pilih untuk diambil. Ini seperti memberi pustakawan akses ke lemari arsip Anda tetapi hanya membiarkan mereka mengambil satu folder yang Anda butuhkan saat Anda butuhkannya. Penyematan vektor dan pencarian semantik. Sekarang Anda mungkin bertanya-tanya bagaimana pencarian bekerja. Bukan tentang mencocokkan kata kunci atau menjalankan kontropece F di seluruh dokumen Anda. Ini sesuatu yang jauh lebih penting. Ini disebut pencarian semantik dan berjalan pada penyematan vektor. Ijinkan saya menjelaskan apa itu penyematan. Penyematan vektor adalah daftar panjang angka yang menangkap makna sepotong teks seperti koordinat pada peta. Setiap dokumen mendapatkan koordinatnya sendiri pada peta makna itu. Saat Anda mengajukan pertanyaan, sistem mengubah pertanyaan Anda menjadi koordinat juga lalu menemukan dokumen yang paling mendekati. Kunci ini adalah semantik. Ini bukan tentang menemukan kata-kata yang tepat, ini tanggung memahami konsep. Jika Anda mencari hotel murah, sistem dapat menemukan dokumen tentang akomodasi yang terjangkau meskipun kata-kata yang tepat itu tidak pernah muncul. Mengapa? Karena artinya dekat. Embedding untuk anggaran dan harga terjangkau terletak bersebelahan di peta tersebut. Model kecil khusus seperti embedding teks Azure 3 besar membuat embedding ini. Ini bukan model bahasa raksasa, jadi ini adalah alat terfokus yang melakukan suatu pekerjaan. Mengubah teks menjadi angka koordinat tersebut. Nilai yang membuat raki begitu hebat. Dokumen Anda diubah menjadi embedding sekali selama pengindeksan. Kemudian ketika query masuk, sistem menemukan konten yang paling relevan dalam hitungan. Melih detik meskipun kata-kata persis pengguna tidak pernah muncul dimanapun dalam dokumen. Sistem memahami maksud bukan hanya kata kunci yang Anda ketik. Azure AI Search, mesin pengambilan. Jadi sekarang Anda memahami konsepnya. Ambil dulu, lalu buat. Namun di mana semua pengambilan itu sebenarnya terjadi. Disitulah Azure AI Search berperan. Azure AI Search adalah layanan yang menyimpan, mengindeks, dan mengambil konten Anda. Anggap saja ini sebagai sistem pengarsipan untuk aplikasi RG Anda. Sistem ini menangani dua tugas utama dan mari kita bahas. Pertama, pengindeksan. Itulah cara menyiapkan data Anda untuk dicari. Kedua, pencarian. Itu sebenarnya menemukan konten yang tepat saat seseorang mengajukan pertanyaan. Mari kita bahas proses pengindeksan terlebih dahulu. Anda mulai dengan mengarahkan Azure AI Search ke sumber data Anda. Yang bisa berupa wadah penyimpanan blog yang penuh dengan PDF, basis data SQL dengan catatan pelanggan, atau sejumlah sumber lainnya. Layanan membaca dokumen-dokumen tersebut memecahnya menjadi bagian-bagian yang lebih kecil. Yang disebut potongan membuat penyematan vektor untuk setiap potongan menggunakan model penyematan yang telah kita bahas sebelumnya dan menyimpan semuanya dalam indeks pencarian. Anggap indeks sebagai katalog raksasa yang sangat terorganisir. Setiap konten mendapatkan ID unik, potongan teks, dan serangkaian koordinat pada peta makna tersebut. Sekarang proses pencarian. Saat pengguna mengajukan pertanyaan, AI Search mengubah pertanyaan itu menjadi vektor menggunakan model penyematan yang sama, lalu memindai indeks untuk menemukan potongan yang koordinatnya paling dekat dengan koordinatnya paling dekat dengan koordinat pertanyaan. Yang mengelihkan kecocokan teratas. Biasanya 5 hingga 10 yang paling relevan dan melakukan semua ini dalam milik titik. Anda mendapatkan beberapa usia yang kuat di sini. Pencarian vektor murni menemukan konten berdasarkan makna sehingga konsep yang serupa muncul meskipun kata-kata yang tepat tidak cocok. Pencarian kata kunci berfungsi seperti mesin pencari tradisional menemukan kecocokan kata yang tepat. Atau Anda dapat menggunakan pencarian hibrida yang menggabungkan kedua pendekatan dan itu biasanya merupakan pilihan terbaik. Ada juga yang disebut pemeringkatan ulang semantik yang mengambil hasil awal tersebut dan memberikan sumber daya berdasarkan seberapa baik hasil tersebut menjawab pertanyaan. Ini seperti rentasan kedua yang menangkap hal-hal yang mungkin terlewatkan oleh indeks pengetahuan. Satu hal yang perlu Anda ketahui, Azure AI Search bisa jadi mahal. Tingkat dasar dimulai sekitar 75 per bulan dan naik dari sana. Jika Anda hanya bereksperimen, gunakan tingkat gratis atau pastikan Anda menghapus sumber daya Anda setelah selesai. Namun untuk penggunaan produksi, biayanya biasanya terbayar. Anda membeli kecepatan dan keandaran skala besar. Azure Open AI plus AI Foundry Pembuatan Orkestrasi Jadi sekarang data Anda diindeks dan siap untuk diambil tetapi LLM masih perlu memahami pertanyaan Anda dan menghasilkan jawaban yang solid. Di sinilah Azure Open AI dan Azure AI Foundry hadir. Azure Open AI menyediakan model bahasa aktual, GPT-4O, GPT-4.1 atau model apapun yang Anda pilih. Ini adalah mesin pembuatnya. Ia menerima perintah yang menyertakan pertanyaan asli dari pengguna dan konteks yang diambil oleh pencarian Azure AI. Model membaca konteks tersebut dan menghasilkan jawaban berdasarkan apa yang ditemukan. Sekarang Anda tidak bisa begitu saja memasukkan semuanya dan berharap yang terbaik. Anda memerlukan perintah sistem, serangka instruksi yang Anda berikan kepada model di awal tentang cara berbedala. Anda memberitahu model untuk hanya menggunakan konteks yang disediakan, mengutip sumbernya, dan yang terpenting mengatakan, saya tidak tahu. Jika informasi yang relevan tidak ada dalam dokumen yang diambil. Itulah yang model tetap jujur. Tanpa perintah sistem yang baik, model mungkin akan kembali ke data pelatihannya atau lebih buruk lagi, mengarang sesuatu. Jadi bagaimana Anda benar-benar menghubungkan semua bagian ini? Di sinilah Azure AI Foundry hadir. Ini adalah portal tempat Anda membuat proyek menyebarkan model, menghubungkan sumber data, dan mengunci agen. Anggap saja ini sebagai pusat kendali untuk seluruh pengaturan rakan. Di dalam Foundry, Anda dapat menambahkan indeks pencarian Azure AI sebagai sumber pengetahuan untuk agen Anda tanpa menulis kode khusus untuk pengaturan dasar. Anda cukup membuat koneksi, memilih indeks, dan agen dapat mulai menanyakannya secara otomatis. Portal menangani orkestrasi. Saat pengguna mengajukan pertanyaan, agen tahu untuk memanggil pencarian AI, mendapatkan potongan yang relevan, dan meneruskannya ke LLM bersama dengan pertanyaan awal. Berikut contoh konkretnya. Dalam satu tutorial yang saya temukan, seseorang membuat agen rekomendasi film menggunakan kumpulan data Netflix. Mereka mengunggah file CSV dengan judul film, deskripsi, dan informasi pemeran ke penyimpanan blob Azure, lalu menggunakan pencarian Azure AI untuk mengindeks data tersebut. Di Azure AI Foundry, mereka membuat agen dengan GP Team 4O dan menghubungkan indeks pencarian AI. Saat pengguna bertanya, saya suka film thriller, beri saya beberapa rekomendasi. Agen menusuri indeks menemukan film thriller dari kumpulan data spesifik tersebut dan memberikan rekomendasi. Dan inilah kuncinya, ia hanya merekomendasikan film yang benar-benar ada dalam kumpulan data tersebut. Ia tidak menciptakan apapun, tidak menarik di data pelatihannya, dan bekerja secara eksklusif dari konten yang mereka sediakan. Itulah kekuatan RAC. RAC Klasik vs RAC Agen Sekarang mari kita bahas tentang peraturannya. Ada dua pola utama, RAC Klasik dan RAC Agen. Yang mana yang Anda pilih bergantung pada apa yang Anda buat. RAC Klasik adalah pendekatan langsung. Satu query masuk, satu pencarian berjalan, dan jawaban keluar. Sederhana, cepat di prediksi. Bayangkan seperti berjalan ke meja resepsionis di gedung perkantoran dan meminta satu berkas tertentu. Resepsionis mengambilnya, menyerahkannya kepada Anda. RAC Klasik sangat cocok untuk tanya jawab faktual pada satu topik seperti Apa kebijakan perusahaan tentang kerja jarak jauh? Atau tunjukkan langkah pemencahan masalah untuk kode kesalahan ini? RAC Klasik dapat diandalkan, murah, dan mudah diperbaiki saat terjadi kesalahan karena alurnya ribu. RAC Agentik berbeda. Agen AI memutuskan cara mengambil informasi. Ia dapat mengajukan beberapa supertanyaan, mencari indeks yang berbeda, mengulangi hasil, dan mensintesis di berbagai sumber sebelum menjawab. Ini seperti memiliki manajer gedung yang berkoordinasi dengan berbagai departemen untuk mengumpulkan semua bagian. Mereka tidak hanya mengambil satu berkas. Mereka berbicara dengan SDM, memberikan catatan, melakukan referensi silang kebijakan, lalu kembali dengan jawaban lengkap. Microsoft menjalankan pengujian mereka sendiri dan menemukan bahwa RAC Agentik memberikan peningkatan sekitar 40% dalam relevan sejawaban untuk pertanyaan komplek. Itu signifikan, tetapi menggunakan token 3 hingga 10 kali lebih banyak dan menambah latensi. Untuk pertanyaan sederhana, pekerjaan tambahan itu terbuang sia-sia. RAC Klasik menanganinya dengan baik. Jadi kapan Anda menggunakan masing-masing? Klasik untuk query rutin bervolume tinggi yang mengutamakan kecepatan dan biaya. Agentik untuk pertanyaan, multilangkah, ambigu, atau lintas domain yang akurasinya sepanjang dengan komputasi tambahan. Bagian koneksi, contoh menyeluruh. Mari kita lihat bagaimana semua bagian ini saling terkait dengan contoh nyata. Bayangkan Anda sedang membangun agen dukungan pelanggan untuk agen perjalanan bernama Marigold Travels. Anda memiliki biosur perjalanan, ulasan hotel, dan dokumen kebijakan yang tersebar di seluruh organisasi Anda. Anda ingin pelanggan mengajukan pertanyaan dan mendapatkan jawaban akurat berdasarkan konten Anda yang sebenarnya, bukan tembakan umum. Langkah pertama, simpan semua konten tersebut di penyimpanan blob Azure. Brosur di satu folder, ulasan di folder lain, kebijakan di folder ketiga, hanya file dalam kontainer. Langkah kedua, gunakan pencarian Azure AI untuk mengindeks data tersebut dengan menjalankan panduan impor data, mengarahkannya ke penyimpanan blob Anda, dan membiarkannya bekerja. Layanan membaca setiap dokumen, membaginya menjadi beberapa bagian, membuat penyematan vektor, dan membangun indeks yang dapat dicari. Seluruh proses memakan waktu beberapa menit. Langkah ketiga, masuk ke Azure AI Foundry untuk membuat agen. Terapkan JPP 4O sebagai model Anda. Tulis perintah sistem yang memberitahunya, untuk hanya menggunakan konteks yang disediakan, dan mengutip sumbernya, lalu hubungkan indeks pencarian Azure AI Anda sebagai sumber pengetahuan. Berapa klik dan selesai. Sekarang seorang pelanggan bertanya, Apa hotel dengan ulasan terbaik di Dubai dengan harga di bawah 300? Agen tersebut mengambil pertanyaan itu dan mengirimkannya ke pencarian Azure AI. Pencarian Azure AI mengubahnya menjadi vektor, dan menemukan potongan paling relevan dari ulasan dan brosuran. Potongan tersebut diteruskan ke JPP 4O bersama dengan pertanyaan asli. Model membacanya mengidentifikasi kecocokan teratas dan menghasilkan respons dengan kutipan yang mengarah kembali ke dokumen sumberan. Begini masalahnya, LLM tidak pernah mengingat data itu. LLM tidak pernah melatih ulasan hotel Anda. LLM bekerja dari konten spesifik Anda setiap saat. Tambahkan ulasan baru besok dan jawabannya diperbarui secara otomatik. Hapus brosur yang kedalui warsa dan brosur tersebut tidak akan muncul. Model tidak perlu pelatihan ulang. Model hanya membutuhkan lapisan pengambilan untuk Anda. Jadi bagaimana Anda benar-benar mulai membangunan RGD? Mari kita urekan menjadi tiga langkah. Hal pertama yang harus dilakukan adalah mengetahui data Anda. Sebelum Anda memilih layanan, cari tahu di mana konten Anda berada, bagaimana konten tersebut diatur, dan siapa yang harus memiliki akses. Hidup atau matinya RGD bergantung pada kualitas data Anda. Selanjutnya, buatlah seterusnya nunggu. Jangan terlalu memperumit pengaturan. Gunakan panduan impor data di pencarian Azure AI untuk mengindeks hanya satu set dokumen. Uji dengan kueh di dasar. Pastikan pengambilan data Anda berfungsi dengan sempurna sebelum menambahkan LLM. Sebagian besar kegagalan RGD bukan nonsal model, melainkan nonsal pengambilan data. Langkah terakhir, tambahkan LLM. Setelah pencarian Anda memberikan hasil yang tepat, Anda perlu menambahkan generasi. Saat itulah Anda menghubungkan Azure Open AI dan menulis perintah sistem. Begini, RGD, bukanlah sesuatu yang Anda beli. Ini adalah pola yang Anda buat. Azure memberi Anda bagian-bagian penyimpanan pencarian model dan perangkat untuk menghubungkannya. Anda hanya perlu menyatukan semuanya dengan cara yang benar. Jika ini membantu Anda melihat gambaran besarnya, klik perlangganan untuk perincian lebih lanjut dalam mahasiswa. Berikan komentar dengan kasus penggunaan RGD. Saya ingin tahu apa yang Anda buat.