Seberapa Akurat Microsoft Copilot? Apa yang Membentuk Respons yang Anda Terima
By Mirko Peters ·
Apa yang membentuk jawaban Copilot di Microsoft 365: prompt, data grounding, izin, mode model, dan lisensi. Ditambah batasan akurasi dari Microsoft sendiri dan cara memeriksa keluaran.
Automatically translated with AI from the original post. Read the English original
Jawaban Copilot dibentuk oleh lima hal: prompt, data yang digunakan untuk grounding, izin orang yang bertanya, pengaturan lisensi dan penyewa, serta mode model. Terkait akurasi, Microsoft cukup lugas. Copilot dapat keliru, dan halaman-halamannya meminta agar keluaran ditinjau dan diverifikasi. Artikel ini memilah faktor-faktor yang memengaruhi kualitas dan mencantumkan pemeriksaan yang direkomendasikan Microsoft. Halaman Microsoft Learn menggunakan dua nama, yaitu Microsoft Copilot dan Microsoft 365 Copilot, misalnya pada nama tingkat Basic dan Premium.
Poin Penting
- Jawaban Copilot bergantung pada prompt, data tempat ia di-grounding, izin pengguna, tingkat lisensi, dan mode model.
- Microsoft menggambarkan layanan AI sebagai tidak sempurna dan probabilistik. Keluaran dapat tidak akurat, tidak lengkap, bias, atau tidak berdasar.
- Copilot hanya menggunakan data organisasi yang sudah dapat diakses oleh pengguna yang masuk.
- Microsoft tidak memberikan skor akurasi. Panduannya adalah meninjau dan memverifikasi, serta memperlakukan pernyataan yang tidak dapat ditelusuri sebagai belum terkonfirmasi.
- Empat pemeriksaan dari Microsoft: Source, Verified, Context, dan Resilient.
Cara respons dihasilkan
Catatan transparansi Microsoft 365 Copilot menjelaskan empat langkah:
- Copilot menerima prompt dari pengguna di aplikasi seperti Word atau PowerPoint.
- Copilot memproses prompt agar lebih spesifik. Prompt dapat mencakup teks dari file masukan atau konten lain yang ditemukan melalui Microsoft Graph. Setelah itu, prompt dikirim ke large language model (LLM). Copilot hanya mengakses data yang sudah dapat diakses pengguna.
- Copilot memproses lanjutan respons LLM. Tahap ini mencakup panggilan grounding tambahan ke Microsoft Graph, pemeriksaan AI yang bertanggung jawab seperti pengklasifikasi konten, pemeriksaan keamanan, kepatuhan, dan privasi, serta pembuatan perintah.
- Copilot mengembalikan respons ke aplikasi, tempat pengguna meninjaunya.
Tanpa data web atau data organisasi, catatan tersebut menyatakan Copilot hanya mengandalkan LLM-nya untuk memahami prompt dan menghasilkan respons. Data grounding dapat meningkatkan kualitas, akurasi, dan relevansi respons.
Apa yang membentuk jawaban
Prompt
Microsoft menyatakan bahwa menulis prompt yang baik adalah kunci untuk hasil yang lebih baik. Rekomendasinya untuk pengguna akhir: sertakan detail, susun prompt dengan terstruktur, berikan instruksi positif, ulangi dan buat ulang, serta selalu tinjau dan verifikasi. Ketika prompt ambigu, Copilot dapat memperkaya prompt dengan instruksi tambahan. Pengayaan tersebut bergantung pada LLM, bukan pada pengetahuan tentang pengguna atau pencarian sebelumnya.
Data grounding
Catatan transparansi menyatakan bahwa Copilot menambahkan konten yang ditemukan melalui Microsoft Graph dan melakukan panggilan grounding tambahan ke Microsoft Graph. Mengizinkan referensi web juga dapat meningkatkan respons. Halaman arsitektur Microsoft menambahkan bahwa grounding pencarian web dapat dikelola dengan kebijakan Allow web search in Copilot.
Izin
Copilot hanya mengakses data yang diotorisasi untuk diakses pengguna, berdasarkan kontrol akses yang ada. Dua orang dapat mengirim prompt yang sama dan mendapat jawaban berbeda karena mereka dapat membuka konten yang berbeda. Ikhtisar keamanan juga mencatat bahwa konten yang terlalu banyak dibagikan atau tidak tertata dengan baik dapat memengaruhi hasil Copilot dan meningkatkan risiko.
Tingkat lisensi dan pengaturan penyewa
Halaman arsitektur menyebutkan bahwa pengalaman berbeda berdasarkan dasar data (grounding), kedalaman integrasi, dan lisensi. Respons Copilot Chat (Basic) didasarkan pada web publik. Microsoft 365 Copilot (Premium) menggunakan web dan data organisasi sekaligus melalui Microsoft Graph dan Work IQ. Pengguna Basic tidak memiliki akses ke Microsoft Graph. Mereka harus memasukkan konten organisasi secara manual, misalnya dengan mengunggah file.
Mode model
Secara default, Copilot menggunakan router real-time untuk menyesuaikan model dasar dengan prompt. Mode yang didokumentasikan adalah:
- Otomatis. Copilot memutuskan model mana yang akan digunakan.
- Respons cepat. Untuk pertanyaan umum atau rutin, Copilot mengutamakan kecepatan.
- Berpikir lebih dalam. Penalaran tingkat lanjut untuk pertanyaan yang kompleks.
Bahasa
Copilot mendukung lebih sedikit bahasa dibandingkan Microsoft 365. Jika bahasa dalam prompt tidak didukung, pengguna akan menerima pesan kesalahan.
Batasan yang dinyatakan Microsoft
Catatan transparansi cukup lugas soal akurasi:
- Layanan AI bersifat tidak selalu andal dan probabilistik.
- Saat merangkum konten dari beberapa sumber, Copilot dapat menyertakan informasi yang tidak ada di sumber inputnya. Catatan tersebut menyebut hal ini sebagai output tanpa grounding (ungrounded output).
- Output dapat tidak akurat, tidak lengkap, bias, tidak selaras, atau tidak relevan dengan tujuan yang dimaksud, misalnya karena input yang ambigu atau keterbatasan model.
- Ketergantungan berlebihan (overreliance) terjadi ketika pengguna menerima output yang keliru atau tidak lengkap karena kesalahannya sulit dideteksi.
Jika memungkinkan, respons yang didasarkan pada dokumen bisnis menyertakan referensi ke sumbernya agar pengguna dapat memverifikasinya. Catatan tersebut menyebutkan bahwa Microsoft menjalankan evaluasi kualitas, termasuk penilaian groundedness, tetapi tidak memberikan skornya. Halaman yang dibaca untuk artikel ini tidak memuat tolok ukur akurasi, sehingga persentase apa pun yang dikutip di tempat lain tidak didukung oleh sumber-sumber ini.
Cara memeriksa sebuah jawaban
Panduan Microsoft "Validate Copilot output before you act on it" mendefinisikan validasi sebagai memeriksa output setelah dihasilkan dan sebelum bertindak berdasarkannya. Panduan ini menekankan bahwa respons bisa terdengar meyakinkan namun tetap keliru, tidak lengkap, atau berisiko. Ada empat pemeriksaan:
- Sumber. Apakah respons mencerminkan materi sumber? Anggap pernyataan yang tidak dapat ditelusuri ke sumbernya sebagai belum terkonfirmasi hingga diverifikasi.
- Terverifikasi. Apakah fakta kunci, nama, tanggal, angka, dan rekomendasi sudah dikonfirmasi?
- Konteks. Apa yang hilang yang dapat mengubah keputusan? Cari catatan, dependensi, dan pengecualian.
- Tangguh. Apakah jawaban tetap berlaku di berbagai skenario dan audiens?
Validasi paling penting untuk keputusan, ringkasan dari beberapa sumber, pesan kepada pelanggan atau pimpinan, prioritas, dan pekerjaan yang sulit dibatalkan. Copilot dapat berperan sebagai peninjau, penantang, pencari celah, atau penguji tekanan. Masukannya adalah sinyal, bukan otoritas akhir.
Langkah praktis yang mengacu pada dokumentasi
- Sertakan detail dan struktur dalam prompt, sebagaimana direkomendasikan Microsoft.
- Hasilkan ulang atau perbaiki output, alih-alih langsung menerima output pertama.
- Buka referensi yang dikutip untuk setiap angka atau tanggal yang penting.
- Tinjau tata kelola konten. Microsoft mencatat bahwa konten yang terlalu banyak dibagikan atau tata kelolanya buruk memengaruhi hasil.
- Pertahankan tinjauan manusia untuk setiap keputusan, sebagaimana disarankan catatan transparansi.
Terkait
Sumber
- Catatan transparansi Microsoft 365 Copilot, Microsoft Learn
- Arsitektur Microsoft Copilot, Microsoft Learn
- Ikhtisar keamanan Microsoft Copilot, Microsoft Learn
- Privasi Microsoft Copilot, Microsoft Learn
- Validasi keluaran Copilot sebelum Anda menindaklanjutinya, Microsoft Support
FAQ
Seberapa akurat Microsoft Copilot?
Microsoft tidak mempublikasikan angka akurasi pada halaman yang dibaca untuk artikel ini. Catatan transparansi Microsoft 365 Copilot menyatakan bahwa layanan AI bersifat tidak sempurna dan probabilistik, dan keluarannya dapat tidak akurat, tidak lengkap, bias, tidak selaras, atau tidak relevan. Microsoft menganjurkan agar setiap respons ditinjau dan diverifikasi.
Apa yang membentuk respons yang diberikan Copilot?
Menurut Microsoft Learn, faktor utamanya adalah prompt, data yang digunakan untuk grounding (konten Microsoft Graph dan, jika diizinkan, web), izin yang sudah dimiliki pengguna, tingkat lisensi dan konfigurasi penyewa, serta mode model. Dukungan bahasa juga penting, karena Copilot mendukung lebih sedikit bahasa dibandingkan Microsoft 365.
Apakah Copilot dapat melihat file yang tidak dapat saya akses?
Tidak. Catatan transparansi menyatakan bahwa Copilot hanya mengakses data yang sudah dapat diakses oleh pengguna individual, berdasarkan kontrol akses berbasis peran (RBAC) yang ada di Microsoft 365. Konten yang tidak dapat dibuka pengguna tidak dapat digunakan untuk grounding.
Apakah Copilot dapat memeriksa jawabannya sendiri?
Hanya sebagian. Panduan validasi Microsoft menyatakan bahwa Copilot dapat membantu memvalidasi keluarannya, misalnya sebagai peninjau atau pencari celah, tetapi tidak dapat memastikan kebenarannya sendiri. Verifikasi dengan sumber tepercaya ketika taruhannya tinggi.