Halo semuanya dan selamat datang di episode lain dari kumpulan pengetahuan Microsoft di M365FM. Em, saya Mirko Peters membawa acara. Topik hari ini adalah topik yang hampir semua orang pernah dengar, tetapi sangat sedikit orang yang benar-benar memahami. Basis Data Vector. Anda mungkin pernah melihat istilah itu di artikel tentang AI atau mendengarnya dalam percakapan tentang Copilot dan JCPT. Namun apa sebenarnya Basis Data Vector? Apakah itu sekadar basis data biasa dengan namanya lebih menarik? Atau sesuatu yang sama sekali berbeda? Bayangkan mencari jaket merah di situs e-commerce dan mendapatkan hasil yang menunjukkan mantel merah tua dan pakaian luar merah anggur. Bagaimana komputer tahu bahwa keduanya adalah hal yang sempurna? Komputer tidak mencocokkan kata komputer. Merah tua bukanlah merah dan mantel bukanlah jaket. Namun entah bagaimana mesin mencari memahami bahwa keduanya terkait dan itulah penelusuran Vector yang sempurna. Di akhir episode ini, Anda akan memahami apa sebenarnya Basis Data Vector itu, mengapa Basis Data itu mendukung penelusuran AI dan Copilot, serta bagaimana Basis Data itu cocok dengan Copilot, serta bagaimana kalau Microsoft. Kami membuatnya dalam bahasa Inggris yang sering. Tanpa matematika, tanpa jargon, hanya blok bangunan yang jelas. Apa sebenarnya Vector itu? Mari kita mulai dengan pertanyaan inti. Apa sebenarnya Vector itu? Ketika kebanyakan orang mendengar kata Vector, mereka membayangkan anak panah dari kelas fisika, arah dan besarnya. Dalam komputasi itu jawab besederhan. Vector sebenarnya hanyalah daftar angka. Susunan satu dimensi yang mewakili sesuatu dalam format yang dapat digunakan komputer. Berikut cara praktis untuk menggambarkan. Jika saya meminta Anda untuk menemui saya di lantai 3 di sayap B kamar 12, itu adalah tiga angka yang menggambarkan lokasi tertentu. Itu adalah Vector tiga dimensi yang memberitahu Anda dengan tepat di mana sesuatu berada di sebuah gedung. Sekarang bayangkan saya menambahkan, warna pintu, ukuran ruangan, harga per kaki persegi, setiap detail baru menjadi dimensi lain. Jadi semakin banyak dimensi yang Anda buat, semakin banyak informasi yang dapat Anda tangkap tentang benda itu. Sebuah mobil dapat dijelaskan berdasarkan kecepatan, jarak tempuh, harga berat, dan peringkat keselam. Itu adalah Vector lima dimensi. Sebuah produk dapat dijelaskan oleh ratusan fitur yang memberi Anda Vector berdimensi tinggi. Begini masalahnya. Vector memungkinkan kita memubah sesuatu menjadi angka yang dapat dibandingkan oleh komputer. Kata-kata, gambar, suara, dokumen, apapun dapat menjadi daftar angka. Setelah semuanya menjadi angka, Anda dapat mulai mengukur seberapa mirip dua hal sebenarnya. Dua ruangnya di lantai yang sama dengan warna pintu yang serupa berakhir berdekatan dalam ruang Vector. Dan dua produk yang serupa juga berkumpul bersama. Jadi sederhana itulah yang memungkinkan pencarian AI modern. Dari Vector hingga penyematan, tidak semua Vector sama. Ada jenis khusus yang disebut penyematan, dan disitulah kekuatan sebenarnya muncul. Jadi apa sebenarnya penyematan itu? Penyematan adalah Vector yang mengkilih makna. Model pembelajaran mesin seperti penyematan teks Azure Open AI membaca teks dan menempatkannya dalam ruang berdimensi tinggi. Model tersebut belajar dari miliaran contoh sehingga memahami bagaimana kata-kata sering berhubungan. Raja dan ratu berakhir berdekatan karena mereka memiliki konteks yang serupa. Raja dan kupi berakhir berjauhan karena mereka tidak memiliki konteks yang serupa. Berikut artinya Dama Senggusudera. Saat Anda mencari jaket merah, sistem menemukan mantul merah tua. Model penyematan mengenali bahwa merah dan merah tua memiliki makna yang dekat dan jaket serta mangkal juga dekat. Penyematan untuk kedua frase tersebut menjadi tetangga dalam ruang vektor. Komputer tidak lagi mencocokkan huruf. Komputer mencocokkan mat. Sekarang izinkan saya memberi Anda contoh kelas. Ambil vektor untuk raja, kurangi vektor untuk pria, dan tambahkan vektor untuk wanita. Hasilnya sangat dekat dengan vektor untuk ratu. Raja dikurangi pria, ditambah wanita sama. Kedengarannya seperti sulap, tetapi begitulah cara model tersebut mengubah hubungan menjadi angkat. Model tersebut mempelajari bahwa raja dan ratu memiliki hubungan yang mirip dengan pria dan wanita, dan hubungan tersebut dikodekan dalam koordinat. Jadi, model penyematan mengambil data mentah Anda, baik itu teks, gambar, atau audio, dan mengubahnya menjadi daftar angka yang mewakili maknanya. Angka-angka tersebut menjadi koordinat dalam ruang berdimensi tinggi. Kemudian, saat Anda mencari query Anda, diubah menjadi jenis koordinat yang sama. Yang perlu Anda lakukan hanyalah mengukur jarak kedua. Itulah ide intinya. Mengapa basis data tradisional tidak berfungsi? Jika penyematan begitu hebat, mengapa kita tidak bisa menggunakan basis data biasa saja? Mari kita jawab pertanyaan itu. Basis data SQL tradisional dibuat untuk pencocokan eksat. Anda menulis di mana warna sama dengan merah, dan basis data itu akan menemukan setiap baris di mana kolom warna secara alfias sama dengan merah. Itu sangat cocok untuk data terstruktur seperti nama pelanggan, tanggal pemesanan, atau harga produk. Tetap itu akan gagal total saat Anda membutuhkan makna yang kabur. Cobalah menulis query SQL yang menemukan kode merah tua saat data Anda hanya menyebutkan jaket merah anggur. Anda tidak bisa karena SQL tidak memahami konsep. Basis data tradisional menyimpan data dalam baris dan kolom. Basis data tersebut dioptimalkan untuk penggabungan agregasi dan pencarian eksat. Basis data tersebut tidak tahu bahwa mobil dan mobil adalah hal yang sama. Basis data tersebut tidak tahu bahwa gembira dan gembira adalah emosiensi. Basis data tersebut hanya mencocokkan string. Dan jika data Anda tidak terstruktur seperti PDF, gambar, rekaman audio, atau dokumen panjang, basis data tradisional dapat menyimpannya sebagai blog, tetapi tidak dapat benar-benar mencari isinya. Anda memerlukan pencarian teks lengkap. Jika pengguna mengetik laporan anggaran, tetapi dokumen tersebut menyebutkan ringkasan keuangan, pencarian kata kunci tidak akan menemukannya sama sekali. Tetapi pikirkan seperti ini. Basis data biasa itu seperti lemari arsip. Anda perlu mengetahui nama file yang tepat untuk menemukan apa yang Anda cari. Basis data faktor itu seperti pustakawan yang mengerti maksud Anda. Anda dapat berkata, saya butuh dokumen tentang pengeluaran kuartal terakhir. Pustakawan itu tahu persis folder mana yang harus diambil meskipun folder itu diberi label ringkasan keuangan kuartal ketiga. Pustakawan itu memahami maksud, bukan sekadar label. Itulah sebabnya basis data faktoran. Basis data itu menyimpan penyematan, faktor penangkap makna, dan mengindeksnya dengan cara yang mempercepat pencarian kesamaan. Basis data tradisional. Basis data itu menambahkan lapisan pemahaman di atasnya dan lapisan itu mengubah segala. Basis data faktor menambahkan lapisan pemahaman di atasnya dan lapisan itu mengubah segala. Cara kerja basis data faktor. Jadi bagaimana semua ini bekerja di balik layar? Mari kita bahas dua fase utama, penyerapan dan query. Penyerapan adalah fase penyiapan. Anda mengambil data mentah, deskripsi produk, tiket dukungan, dokumen internal apapun yang Anda miliki, dan menjalankan setiap bagian menyebut model penyematan. Model itu mengubah teks menjadi vektor yang pada dasarnya adalah daftar angka yang menangkap makna. Kemudian Anda menyimpan vektor itu dalam basis data bersama dengan beberapa metadata, teks asli, stempel waktu, mungkin kategori atau URL sumber. Nah inilah bagian yang pintar. Jika Anda memiliki situr dokumen, memeriksa setiap vektor satu persatukan memakan waktu lama. Itulah sebabnya basis data saya menggunakan sesuatu yang disebut pengindeksan. Anggap pengindeksan seperti membuat peta ruang vektor alih-alih mengetuk setiap pintu. Dua metode umum adalah IVF adalah singkatan dari indeks berkas tempat. Ia bekerja dengan melompokkan vektor yang serupa ke dalam kluster. Saat Anda mencari, alih-alih memindahi semua juta vektor Anda hanya memeriksa kluster yang paling menjanjikan. Ini seperti mencari buku di perpustakaan. Anda langsung menuju ke bagian yang tepat alih-alih memindahi setiap lap. H adalah singkatan dari dunia kecil yang dapat dinavigasi secara hirarkis. Ide-nya cukup elegan. Ia membangun peta multilapis dari vektor Anda. Lapisan teratas berisi beberapa vektor representatif yang memberi Anda gambaran kasar tentang di mana letak berbagai. Mulai lalu menelusuri lapisan demi lapisan hingga Anda menemukan kecocokan yang tepat. Ini seperti menggunakan peta kota terlebih dahulu. Lalu peta lingkungan sekitar. Lalu peta jalan. Masih yang akan membuat Anda lebih dekat. Hasilnya adalah Anda dapat mencari jutaan vektor dalam hitungan mili detik. Itulah yang mendukung fitur AI waktu nyata. Saat Anda mengetik pertanyaan ke copilot dan mendapatkan jawaban kembali, dalam hitungan detik, di suatu tempat basis data vektor baru saja menjalankan pencari kesamaan di ribuan atau jutaan dokumen. Fase query bekerja dengan cara yang sama secara terbalik. Anda mengetik pertanyaan Anda. Pertanyaan itu diubah menjadi vektor menggunakan modal penyematan yang sama persis. Kemudian basis data menemukan tetangga terdekat ke vektor query Anda menggunakan indeks. Ia mengembalikan hasil yang paling mirip yang diberi peringkat berdasarkan jat. Semakin dekat vektor, semakin relevan hasilnya. Ekosistem Microsoft tempat vektor berada. Jadi mana semua ini berada di dunia Microsoft? Jawaban singkatnya, Dima. Microsoft menambahkan kemampuan vektor ke dalam platform data yang sudah Anda gunakan alih-alih mendorong Anda menuju basis data spesialis yang terpisah. Mari kita bahas yang utama. Azure AI Search adalah penyimpanan vektor yang paling umum untuk data perusahaan. Itu adalah generasi augmented retrieval. Mendukung pencarian hybrid yang berarti menggabungkan pencocokan kata kunci tradisional dengan kesamaan vektor. Mengapa itu penting? Karena beberapa pencarian bekerja paling baik dengan kata kunci, kode produk yang tepat, nama tanggal. Sementara yang lain memperlukan pemahaman semantik. Pencarian hybrid memberi Anda kedua. Azure AI Search juga menyertakan vektorisasi terintegrasi sehingga Anda dapat menyiapkan alur yang secara otomatis melompokkan dokumen menghasilkan penyematan dan mengindeksnya tanpa menulis kode khusus. Cosmos DB kini memiliki pencarian vektor asli dengan pengindeksan disk ANN. Disk ANN adalah singkatan dari perkiraan tetangga terdekat berbasis disk dan dibuat untuk latensi di bawah 20 milidetik bahkan dalam skala besar. Itu bagus untuk data operasional yang sudah ada di Cosmos DB. Katakanlah Anda sedang membangun aplikasi e-commerce dengan Cosmos DB sebagai pekenan. Kini Anda dapat menambahkan pencarian vektor langsung ke katalog produk Anda tanpa memindahkan data kelainan terpisah. Pelanggan mencari sepatu musim panas yang ringan dan aplikasi Anda menemukan produk dengan deskripsi serupa di dalam basis data yang sudah ada Azure SQL Server 2025 dan Azure SQL Database juga telah bergabung. Keduanya kini menyertakan tipe data vektor asli dan fungsi seperti pencarian vektor. Artinya Anda dapat menyimpan penyematan tepat di samping data relasional Anda. Catatan pelanggan dengan representasi vektor preferensi mereka, item inventaris dengan deskripsi vektor, tiket dukungan dengan penyematan vektor konten mereka. Anda tidak merupakan bahasa catat vektor terpisah. Keterampilan SQL Anda sudah ada tetap berlaku. Cukup tambahkan kolom vektor buat indeks dan mulai query berdasarkan kesamaan. Beginilah cara kopilot menggunakannya secara mendalam. Saat Anda bertanya, tunjukkan laporan penjualan ketika tahun lalu, kopilot tidak mencari frasa persis laporan penjualan ketika. Kopilot mengubah pertanyaan Anda menjadi vektor mencari di seluruh dokumen indeks, email, file sharepoint, dokumen OneDrive, obrolan Teams, dan menemukan dokumen yang penyematannya paling dekat dengan query Anda. Dia. Ia mungkin menemukan berkas bernama ringkasan keuangan kuartal ketiga 2024 karena maknanya cocok meskipun kata-katanya tidak sama persis. Itulah cara kerja pencana efektor. Adi-adi berkata, belilah basis data vektor khusus. Mereka menambahkan kemampuan vektor ke alat yang sudah Anda gunakan. Azure Eye Search, Cosmos DB, Scale Server, semuanya kini berbicara tentang vektor. Anda tidak perlu mempelajari sistem baru. Anda hanya perlu memahami konsepnya dan Microsoft akan menangani pekerjaan beratnya. Kasus penggunaan AI di dunia nyata. Jadi di mana Anda benar-benar melihat basis data vektor bekerja saat ini? Beginilah cara kerjanya di dunia. Adalah yang terbesar. Itulah singkatan dari Retrieval Augmented Generation dan begitulah cara sebagian besar AI perusahaan berjalan saat ini. Saat Anda mengajukan pertanyaan kepada chatbot, ia tidak menebak dari data pelatihan. Sebaliknya, ia mencari dokumen yang relevan di basis data vektor, mengambil kecocokan terdekat, dan menyerahkannya ke model bahasa sebagai konteks. Model tersebut kemudian membangun jawaban dari dokumen aktual tersebut. Artinya, jawaban yang akurat tentang kebijakan produk atau data perusahaan analis. Tanpa basis data vektor, AI akan menebak dari pengetahuan umum internet. Dengan basis data vektor, AI akan menarik dengan cara yang sama. Mereka mengubah pengguna menjadi vektor berdasarkan perilaku apa yang Anda tonton, beli, atau klik. Dan mereka mengubah item menjadi vektor berdasarkan deskripsi ulasan dan fitur. Kemudian mereka hanya menemukan tetangga terdekat. Vektor Anda dekat dengan vektor film mereka merekomendasikan film itu. Itu adalah pencarian kesamaan dalam skala besar berjalan ratusan kali per detik untuk setiap pengguna. Pencarian semantik adalah contoh pengguna besar ketik. Inilah pencarian berdasarkan mana, bukan berdasarkan ketik. Akhir dukungan mengetik, pelanggan tidak dapat masuk setelah pengaturan ulang kata sandi. Dan menemukan artikel berjudul memecahkan masalah kegagalan autentikasi setelah pembaruan credit check. Kata-katanya tidak cocok tetapi artinya cocok. Selain dimungkinkan pencarian faktor. Untuk tim yang menangani ratusan tiket sehari ini memangkas waktu penyelesaian secara dramatis. Lalu ada deteksi anomali. Kurang kentara tetapi ampuh. Anda menanamkan perilaku normal, pola transaksi umum, metrik sistem biasa, tindakan pengguna standar, simpan vektor tersebut, lalu tandai apapun yang jauh dari kluster. Transaksi yang tidak tampak normal itu penipuan. Metrik server yang jauh di luar rentang biasa itu adalah insiden yang sedang terjadi. Basis data faktor membuat ini cukup cepat untuk dijalankan secara real-time. Di dunia Microsoft, ini muncul di mana-mana. Power Apps menggunakan pencarian faktor untuk saran AI saat Anda membuat formulir. Dynamics 365 menggunakannya untuk pencarian cerdas di seluruh catatan pelanggan. Transkrip berapa tim diubah menjadi faktor sehingga Anda dapat mencari apa yang kita putuskan tentang anggaran dan menemukan momen yang tepat dalam rekaman. Copilot untuk Microsoft 365 pada dasarnya adalah sistem RAG Raksasa yang berjalan di atas data pribadi dan perusahaan Anda. Semuanya didukung oleh pencarian faktor. Menjaga semuanya tetap sinkron. Vaktor ETL. Nah inilah tantangan praktisnya. Data berubah, dokumen diperbarui, produk baru ditambahkan. Kebijakan lama, diarsipkan. Setiap kali data sumber Anda berubah, faktor Anda juga perlu berubah. Disinilah ETL Vaktor Perubah. ETL adalah singkatan dari Extract Transform Load. Untuk database Vaktor, prosesnya seperti ini. Pertama, Anda mengekstrak dokumen baru atau yang diubah dari sumber Anda mungkin wadah penyimpanan plop, pustaka SharePoint atau database SQL. Kemudian, Anda mengubahnya dengan membagi teks menjadi beberapa bagian yang dapat dikelola dan menjalankan setiap bagian melalui model penyempatan Anda. Terakhir, Anda memuat faktor yang dihasilkan ke dalam penyimpanan faktor Anda bersama dengan metadata seperti URL sumber asli, setempat waktu, dan versi model yang digunakan. Praktik terbaik di sini proses secara bertahap. Jangan sematkan kembali seluruh korpus Anda setiap kali ada perubahan. Hanya proses dokumen yang benar-benar berubah. Lacak versi model mana yang menghasilkan setiap penyempatan, tingkatkan model Anda, dan faktor lama menjadi tidak konsisten dengan yang baru. Dan perhatikan biaya Anda. API penyempatan menggunakan biaya berdasarkan token jadi memproses jutaan dokumen yang bertambah dengan cepat. Di Azure, alur kerja yang umum sangatlah mudah. Letakkan dokumen Anda di penyimpanan blog. Kemudian, siapkan pengindeks pencarian Azure AI dengan serangkaian keterampilan terintegrasi yang menangani pengelompokan dan penyempatan secara otomatis. Microsoft menyediakan keterampilan pemisahan teks untuk pengelompokan dan keterampilan model penyempatan Azure Open AI untuk pembuatan vektor. Pengindeks berjalan sesuai jadwal, mengambil file baru, memprosesnya, dan memasukkan vektor ke dalam indeks. Indeks. Tidak diperlukan kode alur khusus. Berikut kesalahan umum. Mengabaikan metadata. Setiap vektor merupakan referensi sumbernya, nama dan versi model penyempatan, serta stempel waktu pembuatan. Lampai itu, Anda tidak dapat melacak asal hasil, Anda tidak dapat menyematkan ulang saat model berubah, dan Anda akan kesulitan Jadi siap untuk mencobanya sendiri? Mulai dengan sederhana. Buka portal Azure dan buat sumber daya pencarian Azure AI. Kemudian aktifkan pencarian vektor pada indeks yang ada. Unggah beberapa dokumen, pilih model penyematan, dan jalankan query kesamaan. Akan melihatnya berfungsi dalam waktu go. Bagi para pengembang, ambil patent SDK, sematkan beberapa dokumen menggunakan Azure Open AI, simpan dalam pencarian vektor kosmos DB, dan tulis query yang menemukan kecocokan terdekat. Microsoft menyediakan contoh kode dan dokumentasi yang jelas untuk mandu Anda. Anda tidak perlu menjadi ilmuwan data alat-alat Microsoft menangani pembuatan penyematan, pengindeksan, dan logika query. Tugas Anda hanyalah memahami konsep dan mengarahkan alat tersebut ke data Anda sendiri. Inilah tantangan. Pikirkan masalah pencarian yang Anda bisa saat ini. Mungkin menemukan dokumen internal atau mencari katalog produk atau menjawab pertanyaan pelanggan dari basis pengetahuan. Apakah pencarian vektor dapat bekerja lebih baik dari penyelucokan, kata kuncik. Pilih kumpulan data kecil, bahkan 100 dokumen, dan cobalah. Anda akan langsung merasakan perbedaannya. Jadi sekarang Anda memahami apa sebenarnya basis data vektor itu. Basis data vektor bukanlah teknologi AI yang misterius melainkan hanya cara untuk menyimpan dan mencari makna data Anda, bukan kata-kata yang tepat. Basis data vektor mendukung fitur pencarian cerdas dan AI di dalam Microsoft tiga dan co-pilot. Setiap kali Anda mengajukan pertanyaan dan mendapatkan jawaban yang relevan di suatu tempat basis data vektor menemukan kecocokan terdekat dengan query Anda. Fakta terstruktur Anda, nama pelanggan, jumlah pesanan, jumlah inventaris, semuanya masih ada di basis data tradisional. Basis data vektor menambahkan lapisan pemahaman. Basis data vektor memungkinkan aplikasi Anda mencari berdasarkan makna, maksud, dan code. Itulah gambaran besarnya. Berlangganan untuk mendapatkan lebih banyak uraian teknologi Microsoft dalam bahasa Inggris yang lebih sempurna. Di lain waktu, kita akan melihat cara kerja alur RAG sebenarnya dan cara Anda dapat membuatnya dalam waktu satu-sat. Terima kasih telah mendengar.