Bayangkan ini, Anda sedang bekerja di sebuah aplikasi di perusahaan. Mungkin itu portal SDM basis data dukungan pelanggan atau wiki internal dengan semua kebijakan yang harus Anda ikuti. Anda mengetik pertanyaan kepada pencari. Sesuatu seperti, bagaimana cara mengajukan laporan pengelolaan untuk makan lama? Anda berkadang terdapat apa yang Anda dapatkan? Tidak ada. Atau lebih buruk lagi, daftar PDF acak dari 3 tahun lalu yang tidak cocok dengan kata-kata yang Anda ketik. Pencarian adalah sesuatu yang kita gunakan setiap hari. Dan seringkali hasilnya buruk. Tapi begini, sebenarnya tidak harus begitu. Bagaimana jika aplikasi Anda benar-benar bisa memahami apa yang Anda tanya? Bagaimana jika aplikasi tersebut bisa mencari seperti Google? Menemukan jawaban yang tepat meskipun Anda tidak menggunakan kata-kata yang sempur. Hari ini kita akan membahas Azure ASEC. Apa itu sebenarnya? Bagaimana cara kerjanya dan mengapa ini menjadi mesin pencari yang diandalkan aplikasi modern?

Ambil kopi Anda dan mari kita mulai. Pengaruh pencari yang gagal. Untuk memahami mengapa pencarian biasanya gagal, kita harus melihat bagaimana sebagian besar aplikasi melakukan. Cara tradisional disebut pencarian kata kunci atau pencarian leksikan. Anda mengetik kata laptop ke dalam kotak dan sistem akan mencari setiap dokumen yang berisi kata yang tepat itu. Di balik layar, banyak dari sistem ini menggunakan algoritma yang disebut PM25. Ini tidak rumit, tetapi cukup cerdas dengan caranya sendiri. PM25 memberi peringkat hasil berdasarkan beberapa hal. Seberapa sering istilah pencarian Anda muncul dalam dokumen, seberapa panjang dokumen tersebut, dan seberapa langkah istilah tersebut di seluruh data. Bayangkan ini sebagai penghitung kata yang sangat canggih, yang menentukan dokumen mana yang paling relevan berdasarkan faktor-faktor tersebut. Disinilah letak kegagalan. Bahasa manusia itu berantakan.

Orang tidak mengajukan pertanyaan menggunakan kata-kata yang sama dengan yang digunakan. Izinkan saya memberikan contoh konkret. Seorang pengguna mengetik ini ke dalam portal dukung. Laptop saya terus membeku saat melakukan panggilan video. Pencarian kata kunci akan dengan patuh mencari dokumen yang berisi laptop, terus membeku saat panggilan, dan video, dan video. Namun bagaimana jika artikel terbaik tentang topik tersebut berjudul mengatasi sistem yang hasil terpet? Atau mengelola pelambatan CPU pada laptop yang terhubung dok? Pencarian kata kunci benar-benar tersebut. Kenapa? Karena kata-katanya tidak cocok. Masalah intinya ada ini. Pencarian kata kunci memahami ejan. Ini memahami pola karakter tetapi tidak memahami makna. Anda mendapatkan hasil yang memiliki huruf yang benar tetapi seringkali konten yang salah. Jadi, jika pencocokan kata yang tepat menyisakan banyak jelah, apa alternatifnya?

Cara baru pencarian vektor. Jadi pencarian vektor ini adalah cara kerja yang benar-benar berbeda. Alih-alih mencocokkan kata yang tepat, pencarian yang mencocokkan makna. Kedengarannya abstrak, jadi mari kita benar. Definisi paling sederhana yang perlu Anda tahu adalah ini, vektor hanyalah daftar angka yang mewakili sesuatu yang bisa diolah komputer. Hanya itu daftar angka. Embedding adalah jenis vektor khusus yang menangkap makna dari sebuah teks. Ia mengambil kalimat, paragraf, bahkan seluruh dokumen, lalu mengubahnya menjadi daftar angka yang panjang. Komputer tidak memahami kata-katanya tetapi ia memahami angka-angkanya. Ini ada analogi yang bisa membantuk. Bayangkan vektor seperti koordinat di sebuah peta. Di peta tempat yang serupa berada berdekatan. Dalam ruang vektor, konsep yang serupa juga berada berdekatan. Vektor untuk raja dan vektor untuk ratu berada saling berdekatan karena keduanya mewakili ide yang berkaitan.

Vektor untuk raja dan vektor untuk apel berada berjauhan. Komputer tidak tahu arti raja dalam pengertian manusia, tetapi ia bisa mengukur jarak antara koordinatnya dengan koordinat kata atau dokumen lain. Ini seperti memiliki GPS untuk ide. Sistem tahu seberapa jauh jarak antar konsep hanya dengan melihat angka-angkanya. Saat Anda mencari menggunakan vektor, sistem mengubah query Anda menjadi embedding. Kemudian ia menemukan dokumen yang embeddingnya paling dekat dengan milen. Ia menemukan hal-hal yang secara semantik serupa yang berbagi makna, bukan sekadar kosa kata. Bayangkan Anda sedang mencari dokumen tentang cara-cara mengatasi laptop. Dengan pencarian kata kunci, Anda harus mengetik kata macet atau hang secara tepat. Namun dengan pencarian vektor, Anda bisa mengetik komputer saya terus terkunci dan sistem akan menemukan dokumen yang tepat. Itulah kekuatan dari memahami makna. Mari kembali ke contoh pencarian kita yang rusak tadi.

Seorang pengguna mengetik laptop saya terus macet. Dengan pencarian vektor, sistem bisa menampilkan artikel tentang sistem yang hang saat rapat teams meskipun tidak ada satupun kata tersebut dalam query. Mengapa? Karena makna sistem hang sangat dekat dengan komputer macet dalam ruang vektor. Konsep-konsep ini berada saling berdekatan di peta tersebut. Sistem tidak peduli dengan kata yang tepat, ia peduli dengan apa yang Anda maksud. Tidak terobosan. Komputer mulai memahami maksud, bukan sekadar ejaan. Mereka menemukan jawaban yang mungkin terlewatkan sepenuhnya oleh pencarian kata kunci. Namun pencarian vektor juga memiliki kelemahan. Pencarian ini bisa melewatkan kecocokan tepat yang sangat krusial. Jika seorang teknisi mencari kode kesalahan spesifik seperti GalatX8000070570, pencarian vektor mungkin memprioritaskan dokumen tentang kesalahan disk atau kerusakan sistem file, alih-alih dokumen tepat yang membedah kode tersebut.

Metode ini mengorbankan pesisi demi pemah. Jadi kita punya dua metode. Pencarian kata kunci sangat bagus untuk resisi. Metode ini sangat akurat untuk istilah exact ID product dan nomor kontrol. Pencarian vektor sangat bagus untuk mat. Metode ini menemukan jawaban yang tepat bahkan soal Anda tidak menggunakan kata-kata yang masih memiliki kelemahan. Dan itu menimbulkan pertanyaan jelas. Bagaimana jika Anda bisa menggabungkan kedua pendekatan dan pendekatan dan mendapatkan keunggulan? Perobosan hibrida. Pencarian hibrida adalah yang terbaik dari kedua dunia. Metode ini menjalankan pencarian kata kunci dan vektor secara bersamaan, lalu menggabungkan hasilnya menjadi satu daftar peringkat. Alih-alih memiliki salah satu sistem menggunakan metode yang disebut reciprocal rank vision atau RRF. Inilah cara kerjanya. RRF melihat peringkat setiap dokumen dalam hasil kata kunci dan peringkatnya dalam hasil vektor.

Pemberikan skor gabungan. Jika semua dokumen bagus di keduanya, ia akan mendapat ingat. Ini seperti mengambil dua pendapat ahli dan merata-rata-nganya. Jawaban akhirnya lebih andal daripada salah satu metode saja. Hal ini penting karena pencarian kata kunci dan vektor memiliki keunggulan yang berbeda secara mendasar. Pencarian kata kunci unggul dalam kecocokan yang eksat. Ini adalah andal Anda untuk ID produk, nomor kontrak, nama spesifik, dan kode kesalahan. Metode ini tepat diprediksi. Pencarian vektor unggul dalam kemiripan semantik menemukan dokumen yang berbagi matemat dengan query Anda meskipun kata-kata persisnya tidak muncul. Bersama-sama mereka menutupi kelemahan satu sama lain. Sistem menangkap kecocokan eksak dan kecocokan konsep dalam satu query. Itulah kekuatan yang sebelumnya. Dan ini bukan sekadar teori. Penelitian tentang pencarian hibrida perusahaan menunjukkan tingkat presisi pengambilan 70 hingga 80 persen tergantung pada kumpulan data.

Itu sekitar 15 hingga 20 persentase lebih tinggi daripada yang Anda dapatkan dengan pencarian vektor. Perbedaannya signifikan dan terlihat dalam hasil bisnis yang nyata. Ambil contoh platform akuntansi sero. Mereka menerapkan pencarian hibrida dalam pengalaman dukungan pelanggan mereka melalui perusahaan bernama Coveo. Dalam tiga bulan, mereka melihat peningkatan 20 persen dalam resolusi sualayan. Pelanggan menemukan jawaban sendiri lebih sering tanpa perlu menghubungi dukungan. Klien lain dalam studi kasus yang sama melihat pengurangan waktu penyelesaian hingga 40 persen untuk kasus dukungan. Itu berarti agen menemukan informasi yang tepat lebih cepat, pelanggan mendapatkan jawaban lebih kilat, dan biaya dukungan menurun. Itu bukan sekadar fitur bagus, melainkan dampak terukur pada laba perusahaan. Ini poin kuncinya. Pencarian hibrida bukan sekadar peningkatan atau centang pada daftar fitur, melainkan jawab lebih baik secara terukur.

Pencarian ini memberikan presisi yang lebih baik, perolehan yang lebih baik, dan hasil penggunaan. Kombinasi pendekatan inilah yang membuat Azure AI Search begitu hebat untuk aplikasi modern. Namun, ada teknologi lain yang dibuka oleh kombinasi ini yang sedang mendapat banyak perhatian saat ini. Teknologi ini disebut RAG, koneksi RAG. Jadi mari kita bicara tentang RAG. RAG adalah singkatan dari Trivial Augmented Generous. Istilah yang cukup panjang, namun ini ada definisi paling sederhananya. Ini adalah kerangka kerja yang memberi asisten AI akses ke informasi yang tidak mereka pelajari saat pelatih. Model bahasa besar seperti GPT tahu banyak tentang sejarah, sains, dan pemrograman. Tetapi mereka tidak tahu dokumen internal, kebijakan, riwayat pelanggan, atau prosedur spesifik tim Anda, atau prosedur spesifik tim Anda. Kebanyakan orang berpikir Anda bisa langsung memasukkan semua pengetahuan internal itu ke dalam modelnya.

Itu tidak berhasil. Cara itu mahal dan sulit untuk diperbarukan. RAG mengatasi masalah yang cerdas. Alih-alih memaksakan semuanya ke dalam model, Anda mengambil informasi yang relevan dari basis pengetahuan saat seseorang mengajukan pertanyaan. Anda mengambil query pengguna, mencari data internal Anda, menemukan dokumen yang paling relevan, lalu memasukkan konteks tersebut ke dalam LLM bersama dengan pertanyaan aslinya. LLM kemudian menghasilkan jawaban yang dihasilkan pada data Anda. Itulah keajaibannya. Nah, Azure AI Search adalah bagian pencarian dari persamaan tersebut. Ini adalah mesin yang menemukan dokumen yang tepat agar LLM dapat menjawab dengan akurat. Tanpa lapisan pencarian yang solid, sistem RAG hanya akan sebagus dokumen yang ditemukannya. Dan disinilah pencarian hibrida benar-benar unggul karena QR RAG seringkali berupa pertanyaan bahasa alami, sementara jawabannya sering berada dalam dokumen yang menggunakan terminologi yang sama sekali berbeda.

Ijinkan saya memberikan beberapa angkapan yang menunjukkan perbedaannya. Sebuah studi tentang pencarian aplikasi perusahaan menemukan bahwa kerangka kerja RAG hibrida meningkatkan akurasi pencarian top-kase sebesar 18 hingga 25 kali lipat dibandingkan pencarian kata kunci saja. Akurasi penyelesaian tugas alur kerja meningkat hingga 21 kali lipat. Artinya, pengguna jauh lebih mungkin berhasil menyelesaikan tugas yang kompleks jika didukung oleh sistem RAG yang menggunakan pencarian hibrida. Secara keseluruhan, sistem RAG yang diimplementasikan dengan benar dapat meningkatkan akurasi pencarian rata-rata sebesar 85% dengan beberapa doma yang khusus mendekati akurasi 99%. Dan karena LLM menghasilkan jawaban berdasarkan konteks yang diambil alih-alih tebakannya sendiri, sistem RAG menunjukkan sekitar 40% pengurangan dalam respons halusinasi. Inilah sebabnya Azure AI Search sangat penting untuk membangun agen AI dan kopilot.

Azure AI Search menyediakan pengambilan berbasis fakta yang kokoh sehingga membuat LLM dapat dipercaya dalam konteks bisnis. Jika Anda membangun asisten yang perlu menjawab pertanyaan secara akurat dan mencantumkan sumbernya, pencarian hibrida ditambah RAG adalah arsitektur yang akan Anda piwi. Jadi, pencarian hibrida dan RAG adalah kombinasi yang kuat. Namun, seperti apa bentuknya dalam praktik? Dampak di dunia nyata. Jadi, di mana hal ini berlaku ternyata dalam praktik? Izinkan saya memberikan beberapa contoh. E-commerce mungkin adalah contoh yang paling familiar. Seorang pelanggan mengetik sepatu lari nyaman ke dalam bilapnya. Daftar produk mungkin menyebutnya alas kaki atletik berbantalan karena tim pemasaran memilih kata-kata yang berbeda. Pencarian kata kunci saja akan sepenuhnya melewatkan kecocokan tersebut. Dengan Azure AI Search, sistem memahami bahwa nyaman dan berbantalan memiliki arti yang kurang lebih sama dalam konteks ini.

Sistem menampilkan produk yang tepat bahkan saat kata-katanya tidak sama persis. Itulah pelanggan yang menemukan apa yang mereka inginkan alih-alih meninggalkan situs dengan rasa first. Portal dukungan pelanggan bekerja dengan cara yang sama. Bayangkan seorang pelanggan, bagaimana cara membatalkan langgan saat. Kebijakan yang relevan mungkin berjudul Terminasi Perjanjian Layanan. Pencarian hibrida menemukan dokumen yang tepat tersebut melalui pencocokan kata kunci pada terminologi hukum, tetapi juga menampilkan FAQ terkait tentang mengakhiri paket Anda lebih awal melalui kemiripan semantik. Fan. Pelanggan mendapatkan jawaban yang komprehensif alih-alih harus menggali lima artikel berbeda. Pengambilan dokumen hukum adalah contoh lainnya. Pengacara perlu mencari kontrak berdasarkan nomor klausul dan referensi bagian yang tepat. Itu adalah ranah kata kunci murni, tetapi mereka juga perlu menemukan bahas yang serupa di berbagai perjanjian, bahkan ketika kata-katanya bervariasi.

Pencarian hibrida menangani keduanya dalam satu query, dan di industri yang diatur ketat, kemampuan untuk melacak mengapa hasil muncul sangat penting untuk kepatuhan. Basis pengeteral juga mendapatkan manfaat. Seorang karyawan yang mencari kebijakan cuti mendapatkan dokumen resmi HR, tetapi juga email terkait dari tim hukum tentang sisa hari cuti dan pembaruan terkini yang diposting di intranet perusahaan. Pencarian memahami bahwa semua ini terhubung ke pertanyaan sama. Manufaktur adalah contoh yang kurang jelas, namun merupakan contoh yang kuat. Seorang teknisi mengetik perbaikan motor panas berlebih ke dalam antarmuka pencarian. Sistem mengembalikan bagian pemecahan masalah dari menu peralatan ditambah diagram pindahian yang menunjukkan bagian-bagian yang relevan. Meskipun diagram tersebut berupa gambar, Azure AI Search dapat mengekstrak dan mengekstrak dan mengindeks konten teksnya sehingga muncul dalam hasil pencarian.

Penang merah dari semua contoh ini adalah data tidak terstruktur. PDF dokumen Word, tiga dukungan email gambar pindahian. Query basis data tradisional dan pencarian kata kunci tidak pernah dirancang untuk jenis data seperti itu. Azure AI Search dibangun khusus untuk dunia ini dan semakin Anda melihatnya, semakin jelas bahwa pencarian hibrida bukan sekadar fitur pelengkap. Ini adalah bagian mendasar dari cara aplikasi modern dibangun. Oke, marketingannya bersatu. Jadi bagaimana semua ini sebenarnya bekerja di balik layar? Azure AI Search memiliki tiga blok penyusun utama. Sumber data, pengindeks, dan indeks pencarian. Sumber data adalah tempat informasi yang Anda berada. Bisa berupa blok storage, database Azure SQL, Cosmos DB, atau bahkan SharePoint. Ini adalah bahan mentah yang perlu dibuat agar dapat dicari. Anggap saja seperti tumpukan dokumen yang menunggu untuk diatur. Pengindeks adalah saluran yang membaca data dari sumber tersebut, mengekstrak kontennya, menerapkan pengayaan AI yang telah Anda konfigurasikan, lalu membangun indeks pencarian.

Berikut cara sederhana untuk membayangkan. Bayangkan seorang pustakawan berjalan ke gudang yang penuh dengan buku. Mereka membaca setiap buku, membuat catatan terperinci, mengidentifikasi tema dan entitas utama, lalu mengatur semuanya ke dalam katalog kartu. Proses membaca dan mencatat itulah yang disebut proses pengindeks. Indeks pencarian adalah katalog kartu tersebut. Itu bukanlah buku-bukunya sendiri. Itu adalah sistem terstruktur dan teroptimasi yang mungkinkan Anda menemukan apa yang Anda butuhkan dalam hitungan mili detik. Saat Anda mengetik query, sistem tidak kembali ke dokumen asli dan memindainya, MIT. Sebaliknya, sistem mencari di indeks yang sudah mengetahui dengan tepat di mana lokasi segalanya. Praorganisasi ini disebut indeks terbalik, inverted indicate. Alihalih menyimpan dokumen dengan daftar kata yang dikandungnya, Anda menyimpan kata dengan daftar dokumen yang memuat.

Itu berarti saat Anda mencari sebuah istilah, Anda langsung melompat ke tempat yang terbaik. Tidak perlu membalap balik setiap halaman. Hasilnya adalah peningkatan kecepatan masif. Alihalih harus memindai setiap dokumen yang membutuhkan waktu. Lebih lama seiring bertambahnya data, Anda langsung melompat ke lokasi yang tepat. Dengan jutaan dokumen, perbedaan tersebut adalah perbedaan antara pencarian yang memakan waktu beberapa detik dan yang memakan waktu beberapa detik. Jadi sekarang Anda memahami apa itu Azure Eye Search, bagaimana komponen intinya bersatu, dan mengapa pencana hibrida mengubah segalanya. Mari kita simpulkan dengan beberapa hal yang bisa Anda lakukan dengan ini. Pertama, pahami data Anda. Jika datanya sudah terstruktur seperti tabel produk di SQL, catatan pelanggan dalam database, atau apapun dengan baris dan kolom yang rapi, Anda bisa langsung membuat query dengan SQL.

Azure Eye Search dibangun untuk teks yang tidak terstruktur, yaitu PDF, email, dokumen Word, dan tiket dukungan. Disitulah teknologi ini memberikan nilainya. Kedua, jika Anda membangun aplikasi RHG atau asisten AI, Azure Eye Search dengan pencarian hibrida adalah mesin pengambilan data yang Anda butuhkan di baliknya. Teknologi ini memberikan kecocokan kata kunci yang tepat untuk presisi dan pemahaman semantik untuk konteks. Kombinasi itu menghasilkan jawaban yang lebih andal dan mudah dikutip daripada menggunakan salah satu pendekatan saja. Ketiga, jangan buat pengaturannya menjadi rumah. Portal Azure memiliki wizard untuk mengimpor data. Hubungkan penyimpanan blop Anda, konfigurasikan beberapa pengaturan, dan biarkan pengindeks pertama Anda. Anda bisa menjalankan pertama Anda dalam pertukungan yang satu-satunya. Jadi itulah Azure Eye Search dalam bahasa yang sederhana. Layanan ini mengambil informasi yang berantakan dan tidak terstruktur, lalu membuatnya menjadi pengetahuan yang siap dicari oleh AI.

Terima kasih telah bergabung dengan saya. Pelangganan layanan, sampai jumpa di episode berikut. Terima kasih telah menonton!