Cara menguji agen AI dan ekstensi Copilot secara berulang dan konsisten
By Mirko Peters · · Updated
Cara menguji agen AI secara berulang dan konsisten: menyusun kumpulan uji, memilih penilai (grader), menilai pemanggilan alat dan memantau regresi, dengan contoh Copilot Studio untuk QA lead.
Automatically translated with AI from the original post. Read the English original
Cara menguji agen AI adalah pertanyaan praktis bagi setiap QA lead yang diminta menyetujui agen tersebut. Input yang sama dapat menghasilkan jawaban yang berbeda, sehingga kebiasaan lama membandingkan keluaran dengan satu nilai yang diharapkan tidak lagi berhasil. Panduan ini ditujukan bagi QA lead yang membutuhkan metode yang dapat diulang untuk agen yang dibangun dengan Copilot Studio atau alat lain. Anda akan melihat apa yang membuat agen sulit diuji, pendekatan berlapis, cara menyusun kumpulan uji, penilai mana yang digunakan, dan cara menjaga hasil tetap dapat dibandingkan dari waktu ke waktu. Contoh kerja dengan angka fiktif menunjukkan sebuah tim kecil yang menerapkannya.
Poin Penting
- Agen AI memberikan jawaban yang berbeda untuk input yang sama, sehingga pengujian yang dapat diulang berarti menilai berdasarkan kriteria dan ambang batas yang disepakati, bukan mencocokkan satu string yang persis sama.
- Pisahkan pengujian agen ke dalam beberapa lapisan: unit test biasa untuk perutean dan penguraian, penilaian kualitas keluaran model bahasa, dan skenario end-to-end untuk alur multi-langkah.
- Kumpulan uji yang baik dimulai dari yang kecil, mencakup tugas pengguna sungguhan, kegagalan yang sudah diketahui, kasus tepi, dan perilaku berisiko tinggi, serta disimpan di bawah kontrol versi bersama prompt-nya.
- Periksa juga jalurnya, bukan hanya jawabannya: jawaban yang terdengar benar tetapi melewatkan pemanggilan alat yang wajib tetap dihitung sebagai kegagalan.
- Jalankan setiap kasus beberapa kali, bandingkan tingkat kegagalan dengan baseline, dan jadikan kasus wajib lulus serta tindakan terlarang sebagai gerbang ketat (hard gate).
Apa yang membuat agen AI sulit diuji
Aplikasi klasik berperilaku dapat diprediksi: input yang sama menghasilkan hasil yang sama. Agen AI bekerja di atas model bahasa besar, sehingga jawabannya bervariasi, dan agen juga memutuskan alat mana yang dipanggil serta urutannya. Dengan demikian ada dua hal yang perlu diperiksa: jawaban akhir dan jalur yang ditempuh agen untuk sampai ke sana.
Model bahasa dapat berhalusinasi, yang berarti menyatakan fakta yang keliru dengan yakin, sehingga setiap sistem AI yang Anda rilis memerlukan pemeriksaan untuk hal ini. Risikonya meningkat pada alur kerja agentik, saat agen AI memanggil API, membaca file, atau mengubah record atas nama pengguna. Menguji agen AI semacam itu mencakup lebih dari sekadar kata-kata yang dihasilkannya.
Artikel SitePoint tentang pengujian agen AI di dunia non-deterministik menolak pencocokan string persis untuk keluaran model, karena jawaban yang benar dapat diungkapkan dengan banyak cara. Pertanyaan "apakah identik?" diganti dengan "apakah cukup baik?". Pergeseran ini adalah inti dari pengujian agen AI, dan memengaruhi cara Anda menulis hasil yang diharapkan, menetapkan nilai kelulusan, serta melaporkan risiko.
Variasi tidak membuat pengujian menjadi mustahil. Artinya, pengujian agen menggunakan rentang, ambang batas, dan eksekusi berulang, sementara kode biasa tetap diuji dengan pengujian biasa.
Cara menguji agen AI dalam empat lapisan
Artikel SitePoint yang sama membagi pengujian agen ke dalam tiga lapisan, dan panduan LangChain tentang pengujian LLM dan agen AI menambahkan gagasan keempat, yaitu gerbang rilis. Bersama-sama, keduanya membentuk rencana yang dapat dijalankan:
- Logika biasa. Perutean alat, penguraian input, pemformatan, dan perubahan state adalah kode biasa. Unit test biasa dengan asersi yang tepat cocok untuk bagian ini, dan SitePoint menyarankan menjalankannya pada setiap commit.
- Kualitas output. Evaluasi jawaban model bahasa untuk faithfulness, relevansi, dan halusinasi. Pemeriksaan ini lebih lambat dan menimbulkan biaya ketika melibatkan judge model, jadi SitePoint menyarankan menjalankannya pada saat merge atau sesuai jadwal.
- Skenario end-to-end. Jalankan percakapan multi-giliran dan penggunaan alat multi-langkah, mulai dari pesan pertama pengguna hingga hasil akhir. Ini adalah versi AI agent dari end-to-end testing, dan lapisan inilah yang menemukan masalah di antara bagian-bagian sistem.
- Gerbang rilis. LangChain merekomendasikan menjalankan pemeriksaan di pipeline pengiriman untuk setiap kandidat perubahan, dengan ambang batas yang disepakati untuk kualitas, perilaku, dan performa, seperti latensi dan biaya.
Jangan lewati lapisan pertama hanya karena AI agent terasa seperti sihir. Banyak kegagalan AI agent sebenarnya adalah bug biasa dalam cara input diurai atau alat mana yang dipilih, dan bug seperti ini murah untuk ditangkap.
Bangun test set yang tetap berguna
Test set, yang sering disebut eval set, adalah inti dari pekerjaan AI evaluation. Saran LangChain adalah mulai dari kecil dengan kasus berkualitas tinggi yang mencakup tugas pengguna nyata, kegagalan yang sudah diketahui, dan perilaku berisiko tinggi, lalu memperluasnya seiring percakapan nyata mengungkap masalah baru. Sertakan permintaan umum, input adversarial, kasus tepi, dan contoh yang telah dikoreksi oleh pakar domain. Setiap kasus dapat memuat input, output referensi, kriteria evaluasi, langkah yang wajib atau dilarang, serta metadata untuk penyaringan.
SitePoint menambahkan satu kebiasaan yang membuat hasil dapat ditelusuri: simpan dataset di source control dan berikan versi bersama template prompt, sehingga perubahan skor dapat dikaitkan dengan perubahan tertentu pada agent.
Sebuah starter set untuk QA lead mungkin terlihat seperti ini:
- Pertanyaan umum dengan kata-kata yang benar-benar digunakan orang.
- Kegagalan yang sudah diketahui dari insiden atau keluhan sebelumnya, disimpan sebagai kasus regresi permanen.
- Kasus tepi, seperti pertanyaan yang samar, campuran bahasa, informasi yang hilang, dan permintaan yang seharusnya ditolak AI agent.
- Permintaan berisiko, termasuk upaya prompt injection, pertanyaan tentang data yang seharusnya tidak dapat dilihat pengguna, dan permintaan tindakan di luar cakupan agent.
- Kasus wajib lulus, yaitu kasus di mana satu kegagalan saja akan menghambat rilis.
Tuliskan hasil yang diharapkan setepat mungkin. Ekspektasi yang samar menghasilkan skor yang bising, apa pun alat penilainya.
Pilih grader: kode, judge model, atau manusia
LangChain menjelaskan tiga jenis grader, dan masing-masing punya tempatnya:
- Pemeriksaan kode cocok untuk aturan deterministik: JSON yang valid, ID akun yang wajib ada, atau pemanggilan alat tertentu. Cara ini murah dan dapat diulang dengan hasil yang sama.
- Judge model menilai kualitas yang membutuhkan pertimbangan, seperti groundedness, kepatuhan terhadap instruksi, dan penyelesaian tugas. LangChain menyarankan untuk memvalidasi skor judge model terhadap contoh yang ditinjau manusia sebelum mengandalkannya.
- Tinjauan manusia menangani kasus yang ambigu atau berisiko tinggi. Peninjau memberi label pada kegagalan, dan kasus tersebut dapat masuk ke test set sebagai regression test di masa depan.
Periksa jalurnya, bukan hanya jawabannya. LangChain menyebut ini trajectory evaluation: urutan alat, argumen, langkah persetujuan, dan perulangan. Contohnya adalah refund agent yang seharusnya memanggil pencarian kebijakan sebelum menjawab. Jawaban yang terdengar benar tetapi melewatkan pencarian tersebut tetap dihitung sebagai kegagalan. Itulah sebabnya setiap kasus uji sebaiknya mencatat pemanggilan alat yang diharapkan, bukan hanya teks yang diharapkan.
Skor membutuhkan ambang batas. SitePoint menyarankan nilai minimum per metrik, bukan satu target yang persis, dan contohnya mencakup 0,85 untuk faithfulness dan 0,7 untuk answer relevancy. Anggap angka-angka ini sebagai contoh, dan tetapkan angka Anda sendiri berdasarkan tingkat risiko Anda.
Menguji agent Copilot Studio
Copilot Studio memiliki evaluasi bawaan, dan halaman Microsoft tentang membuat test set mencantumkan detail yang dibutuhkan seorang QA lead.
- Set pengujian: satu set pengujian respons tunggal dapat memuat hingga 100 kasus uji. Anda dapat membuat set cepat berisi sepuluh pertanyaan dari deskripsi agen, membuat lebih banyak dari sumber pengetahuan atau topik, menggunakan kembali pertanyaan dari obrolan uji, mengimpor file CSV atau TXT, atau menulis kasus secara manual.
- Metode pengujian: kualitas umum, keamanan konten, bandingkan makna, penggunaan alat, pencocokan kata kunci, kemiripan teks, pencocokan persis, dan kriteria kustom. Semua metode kecuali kualitas umum memerlukan jawaban yang diharapkan, kata kunci, atau kemampuan per kasus.
- Identitas: pengujian otomatis menggunakan autentikasi pengguna yang sedang masuk untuk mengakses sumber pengetahuan dan alat. Jalankan sebagai pengguna yang sama setiap kali agar hasilnya tetap dapat dibandingkan, dan pastikan pengguna tersebut dapat mengakses setiap sumber yang dibutuhkan agen.
- Batasan: set yang dibuat otomatis tidak dapat menemukan celah informasi, karena hanya mengambil dari apa yang sudah diketahui agen. Hasil disimpan selama 89 hari, jadi ekspor ke CSV untuk menyimpan baseline.
Ada dua catatan penting dari halaman tersebut. Kasus uji yang dibuat otomatis dapat memuat data sensitif yang dapat diakses akun yang terhubung, dan pembuat lain yang memiliki akses ke agen dapat melihat set uji yang tertaut, jadi tinjau sebelum membagikannya. Selain itu, set yang dibuat otomatis hanyalah titik awal, bukan set yang sudah lengkap. Tambahkan secara manual kegagalan yang sudah Anda ketahui dan permintaan berisiko.
Membuat hasil dapat diulang
Keterulangan hasil berasal dari kebiasaan dalam alur pengujian Anda, bukan dari sebuah fitur:
- Jalankan setiap kasus lebih dari sekali. SitePoint menyarankan minimal tiga kali jalan dan rata-ratanya. LangChain menyarankan membandingkan tingkat kegagalan untuk keluaran yang bervariasi.
- Bandingkan dengan baseline. Jalankan kandidat dan versi saat ini pada set uji yang sama. LangChain mengingatkan bahwa rata-rata yang lebih baik dapat menyembunyikan regresi pada satu kasus kritis, jadi perhatikan contoh yang wajib lulus.
- Gunakan gerbang keras untuk tindakan terlarang. LangChain menyarankan pemeriksaan deterministik dengan ambang batas nol kegagalan untuk tindakan yang tidak boleh pernah dilakukan agen.
- Jalankan ulang setelah setiap perubahan, dan otomatiskan. Otomasi dalam pipeline Anda menjaga kebiasaan ini tetap berjalan. Perubahan prompt dianggap sebagai perubahan kode, begitu juga perubahan pada model, retrieval, definisi alat, memori, atau routing.
- Simpan bukti. Ekspor hasil dan simpan bersama versi set uji dan versi agen.
Contoh: agen kebijakan cuti
Angka-angka dalam contoh ini bersifat fiktif.
Sebuah tim membangun agen Copilot Studio yang menjawab pertanyaan tentang kebijakan cuti. QA lead membuat 40 kasus uji. Dua puluh dua di antaranya adalah pertanyaan umum, delapan adalah kegagalan yang sudah diketahui dari pilot, enam menggunakan kata-kata tidak biasa seperti tanggal yang tidak jelas, dan empat adalah permintaan berisiko, termasuk pertanyaan tentang cuti karyawan lain. Enam kasus ditandai sebagai wajib lulus.
QA lead menggunakan pencocokan kata kunci untuk fakta tetap seperti jumlah hari cuti, bandingkan makna untuk penjelasan, dan pemeriksaan penggunaan alat untuk memastikan agen memanggil pencarian kebijakan sebelum menjawab. Setiap kasus dijalankan tiga kali.
Pada putaran penuh pertama, 34 dari 40 kasus lulus di ketiga putaran. Dari enam kegagalan, dua melibatkan kasus wajib lulus, dan pada salah satunya agen menjawab tanpa memanggil pencarian kebijakan. Tim memperbaiki instruksi, menjalankan ulang, dan mencapai 38 dari 40 dengan semua kasus wajib lulus hijau. QA lead mengekspor hasil sebagai baseline dan menetapkan aturan: setiap perubahan prompt atau model menjalankan ulang seluruh 40 kasus, dan penurunan pada kasus wajib lulus mana pun akan memblokir rilis dalam alur kerja pengiriman.
Kesalahan umum
- Mencocokkan teks secara persis. Jawaban yang benar bisa bervariasi, sehingga pencocokan persis menghasilkan kegagalan palsu.
- Hanya menilai jawaban. Agen bisa memperoleh jawaban yang tampak baik dengan melewati langkah yang diwajibkan.
- Menjalankan setiap kasus sekali saja. Satu kali jalan yang kebetulan berhasil membuktikan sedikit hal.
- Hanya mengandalkan set uji yang dibuat otomatis. Set tersebut tidak dapat menemukan celah pada hal-hal yang tidak pernah diberitahukan kepada agen.
- Mempercayai model penilai begitu saja. Validasi skornya terhadap contoh yang sudah ditinjau manusia.
- Hanya menguji jalur ideal. Sertakan kata-kata tidak biasa, permintaan berisiko, dan kegagalan yang sudah diketahui.
Bagaimana perangkat lunak dapat membantu
Mulailah dengan apa yang ditawarkan platform agen Anda. Copilot Studio memiliki evaluasi bawaan, dan ada kerangka evaluasi open-source maupun komersial untuk agen AI kustom. Pilih alat pengujian yang memungkinkan Anda membuat versi set uji, menjalankan setiap kasus beberapa kali, memeriksa panggilan alat, dan mengekspor hasil. Tambahkan pipeline pengiriman Anda sebagai gerbang, dan gunakan spreadsheet atau alat manajemen pengujian untuk melacak kasus beserta pemiliknya. Lakukan pilot pada satu agen AI sebelum menstandardisasi.
Langkah berikutnya
Tulislah sepuluh kasus uji untuk satu agen AI yang sudah Anda jalankan, termasuk tiga kegagalan yang sudah diketahui dan dua permintaan berisiko, lalu nilai masing-masing tiga kali. Setelah itu, simpan hasilnya sebagai baseline. Dengan cara ini, cara menguji agen AI di tim Anda menjadi langkah rutin, bukan lagi bahan perdebatan.