M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Dapatkah AI menulis kasus uji dari user story? Yang perlu diperiksa lebih dulu

By · · Updated

Dapatkah AI membuat kasus uji dari user story? Studi menunjukkan draf cepat dengan celah. Simak yang perlu diperiksa lebih dulu: cakupan, ambiguitas, kasus tepi, dan pengujian yang dibuat-buat.

Automatically translated with AI from the original post. Read the English original

Dapatkah AI membuat kasus uji dari user story? Bisa, dan prosesnya hanya butuh hitungan detik, tetapi draf tersebut perlu diperiksa dengan cermat sebelum masuk ke rangkaian pengujian Anda. Panduan ini ditujukan bagi QA lead yang ingin mencobanya tanpa menurunkan kualitas. Anda akan melihat temuan dari dua studi yang dipublikasikan, masalah yang terus berulang, dan daftar periksa untuk meninjau draf. Sebuah contoh kerja dengan angka fiktif menunjukkan bagaimana peninjauan mengubah sekumpulan kasus uji yang dihasilkan.

Poin Penting

  • AI dapat menyusun draf kasus uji dari user story dalam hitungan detik hingga menit. Sebuah eksperimen Thoughtworks menemukan cakupan yang tinggi terhadap kriteria penerimaan yang tertulis, tetapi kualitasnya bergantung pada seberapa jelas story tersebut.
  • Eksperimen yang sama mengukur ambiguitas pada sekitar 27 persen kasus yang dihasilkan dan sekitar 6 persen kasus yang tidak tepat, sehingga peninjauan tidak bisa dilewatkan.
  • Studi menggambarkan empat masalah yang berulang: kasus yang tidak relevan atau dibuat-buat, kasus yang berlebihan, kasus tepi yang terlewat, dan masukan yang tidak terspesifikasi sepenuhnya.
  • Tinjau setiap draf terhadap kriteria penerimaan, hapus duplikat, tambahkan kasus tepi dan jalur negatif, serta tulis ulang setiap langkah yang samar.
  • Perlakukan model sebagai asisten yang membuat draf, dan tetap pastikan seseorang bertanggung jawab atas apa yang masuk ke rangkaian regresi.

Dapatkah AI membuat kasus uji dari user story? Apa temuan studinya

Sebuah artikel Thoughtworks, AI generated test cases from user stories: an experimental research study, menjelaskan sebuah eksperimen kecil. Tiga insinyur QA dengan pengalaman tiga sampai lima tahun menulis kasus uji manual untuk sembilan user story. Kemudian alat AI generatif, terutama GitHub Copilot dengan ChatGPT sebagai pembanding, menghasilkan kasus uji untuk story yang sama dari prompt yang telah disempurnakan.

Rata-rata, kasus yang dihasilkan mencakup 98,67 persen kriteria penerimaan dan konsisten dalam strukturnya. Artikel tersebut melaporkan sekitar 4 persen duplikasi, sekitar 6 persen kasus uji yang tidak tepat, dan skor ambiguitas sekitar 27 persen. Artikel itu juga menyebutkan bahwa pembuatannya memakan waktu detik hingga menit, bukan berjam-jam.

Kelemahannya sama jelasnya. Kualitas sangat bergantung pada mutu dan kespesifikan masukan. Alat-alat tersebut kesulitan dengan logika bisnis yang kompleks, hanya menemukan sedikit kasus tepi tanpa panduan eksplisit, dan jarang melakukan pengujian non-fungsional kecuali diminta. Para penulis menyebut hipotesis mereka tervalidasi sebagian, menyatakan bahwa pengawasan manusia tetap penting, dan mencatat bahwa sampel sembilan user story ini kecil.

Makalah kedua, studi arXiv berjudul Automatic High-Level Test Case Generation using Large Language Models, membahas use case, bukan user story, jadi anggap ini sebagai hasil terkait. Penulisnya membangun dataset berisi 1.067 use case dan 3.606 test case dari 168 proyek. Dalam evaluasi manusia, GPT-4o memperoleh skor 3,91 untuk kelengkapan dan 3,98 untuk relevansi, dibandingkan 4,04 dan 4,30 untuk test case yang ditulis manusia. Penulis menilai hasilnya memuaskan, tetapi mereka menyatakan bahwa evaluasi manusia yang menyeluruh terhadap test case otomatis tetap diperlukan.

Apa yang bisa dan tidak bisa disimpulkan dari angka-angka ini

Berhati-hatilah dengan persentase. Kedua studi menyebutkan batasannya sendiri. Eksperimen Thoughtworks menggunakan sembilan user story, alat dan versi tertentu, serta penilaian yang sebagian bersifat subjektif, dan tidak mengukur produktivitas dalam jangka panjang. Eksperimen itu juga melaporkan bahwa ChatGPT lebih baik daripada GitHub Copilot ketika diperlukan interpretasi prompt yang rinci, jadi hasilnya bergantung pada alat dan prompt yang digunakan.

Dalam makalah arXiv, 26 evaluator manusia hanya sepakat secara moderat satu sama lain, dengan Cohen's Kappa sebesar 0,42, dan para peserta merupakan sampel kenyamanan (convenience sample). Penulis juga menyatakan bahwa skor kemiripan otomatis tidak dapat diandalkan untuk mendeteksi kasus tepi atau kasus negatif yang terlewat. Itulah sebabnya mereka menuntut evaluasi manusia.

Angka cakupan yang tinggi juga perlu dicermati ulang. Angka itu hanya mengukur kriteria yang tertulis. Angka itu tidak dapat menunjukkan aturan yang tidak ada seorang pun menuliskannya ke dalam story, dan aturan tersembunyi inilah yang sering menjadi sumber cacat.

Empat masalah yang terus berulang

Makalah arXiv menyebutkan empat masalah yang berulang, dan hasil Thoughtworks menunjukkan arah yang sama:

  1. Kasus yang tidak relevan. Penulis mengaitkan hal ini dengan halusinasi AI: model menghasilkan informasi yang terdengar meyakinkan tetapi keliru. Salah satu contohnya adalah test untuk fitur yang tidak didukung aplikasi.
  2. Kasus yang redundan. Sebagian kasus mengulang kasus lain dengan sedikit perubahan.
  3. Kasus tepi yang terlewat. Model melewatkan kasus yang disertakan oleh penguji manusia, misalnya menolak jenis file yang tidak didukung.
  4. Spesifikasi input yang lemah. Sebagian kasus yang dihasilkan tidak menyertakan kolom input yang dibutuhkan oleh test.

Tidak satu pun dari masalah ini membuat draf menjadi tidak berguna. Masalah-masalah ini menunjukkan apa yang harus Anda perhatikan.

Yang perlu diperiksa lebih dulu: daftar periksa tinjauan

Thoughtworks menyarankan agar output ditinjau sebelum digunakan dalam produksi, dengan memeriksanya terhadap kriteria penerimaan, menandai logika yang tidak jelas, dan memverifikasi cakupan kasus tepi. Jadikan itu daftar periksa untuk setiap batch:

  • Cakupan. Apakah setiap kriteria penerimaan memiliki setidaknya satu test case? Daftarkan kriterianya dan centang satu per satu.
  • Test yang direkayasa. Apakah setiap kasus sesuai dengan sesuatu yang ada di story? Hapus kasus untuk fitur yang tidak ada.
  • Duplikasi. Gabungkan kasus yang menguji perilaku yang sama dengan data yang sama.
  • Langkah yang spesifik. Apakah setiap langkah menyebutkan elemen dan datanya? Tulis ulang kalimat yang samar, seperti "masukkan data yang valid".
  • Hasil yang diharapkan. Apakah setiap hasil yang diharapkan dapat dilihat di layar atau di dalam catatan?
  • Kasus tepi dan jalur negatif. Tambahkan input kosong, format yang salah, batas nilai, dan kegagalan izin.
  • Kebutuhan non-fungsional. Tambahkan pemeriksaan performa, aksesibilitas, dan keamanan yang tersirat dari story, karena model mungkin melewatkannya.

Untuk batch yang besar, tinjau sampel terlebih dahulu. Baca sepuluh kasus pertama secara lengkap. Jika banyak di antaranya tidak lolos daftar periksa, perbaiki story atau prompt sebelum Anda melanjutkan, karena cacat yang sama akan berulang pada kasus lainnya. Ini adalah aturan kerja, bukan hasil dari studi-studi tersebut.

Pembuatan test case dengan AI cocok sebagai tahap penyusunan draf dalam pengujian perangkat lunak, yang mendahului otomatisasi test. Tim QA dapat menggunakan AI untuk membuat test case bagi setiap skenario test dalam sebuah story, memeriksa cakupan test terhadap kriteria penerimaan, lalu memutuskan kasus mana yang akan diubah menjadi test otomatis. Alat AI mengerjakan bagian pengetikan, sementara tim QA tetap memegang desain test. Dengan cara ini, Anda dapat membuat test lebih cepat tanpa menurunkan kualitas rangkaian test.

Pemeriksaan ini merupakan pekerjaan human-in-the-loop. Penguji tidak perlu mengetik ulang draf. Penguji menilai draf tersebut, dan penilaian itulah bagian yang tidak dapat disediakan oleh model.

Buat input lebih mudah dipahami AI

Thoughtworks melaporkan bahwa prompt berkembang dari permintaan dasar menjadi permintaan yang memberi model sebuah peran dan meminta model menggunakan Given, When, Then jika sesuai. Mereka juga melaporkan bahwa cakupan untuk skenario yang kompleks membutuhkan banyak upaya dalam menyusun prompt. Tiga kebiasaan berikut membantu:

  1. Tulis kriteria penerimaan yang eksplisit. Jika story-nya samar, kasus ujinya juga akan samar. Perbaiki story-nya terlebih dahulu.
  2. Tambahkan konteks. Sebutkan peran pengguna, area produk, dan aturan apa pun yang tidak dapat ditebak oleh model.
  3. Minta struktur. Gunakan AI dengan format yang jelas: minta judul, prasyarat, langkah, data, dan hasil yang diharapkan untuk setiap kasus, serta minta AI mencantumkan asumsinya.

Pastikan prompt bebas dari rahasia dan data pelanggan. Gunakan contoh nilai fiktif.

Contoh: meninjau satu batch

Angka-angka berikut bersifat ilustrasi.

Sebuah tim memberikan sepuluh user story kepada asisten AI. Dalam beberapa menit, asisten itu menghasilkan 60 kasus uji. QA lead memeriksanya bersama product owner.

  • 6 kasus merupakan duplikat, sehingga tim menghapusnya.
  • 5 kasus menguji perilaku yang tidak dimiliki produk, sehingga tim juga menghapusnya. Tersisa 49 kasus.
  • 7 dari 49 kasus yang tersisa memiliki langkah atau hasil yang samar, sehingga tim menulis ulangnya.
  • 9 edge case dan jalur negatif belum tercakup, sehingga tim menambahkannya secara manual.

Suite akhir memiliki 58 kasus uji. Peninjauan memakan waktu sekitar tiga jam, sedangkan menulis ke-58 kasus dari nol mungkin memakan waktu satu hari penuh. Tim menyimpan catatan peninjauan, mencatat jenis kasus apa saja yang ditolak, dan menggunakannya untuk memperbaiki prompt untuk sprint berikutnya. Manfaatnya nyata, tetapi berasal dari peninjauan, bukan dari model semata.

Kesalahan umum

  • Menerima batch tanpa membacanya. Duplikat dan kasus yang dikarang masuk ke dalam suite dan mengikis kepercayaan terhadap suite tersebut.
  • Menilai keberhasilan dari jumlah kasus. Lebih banyak kasus tidak berarti cakupan yang lebih luas.
  • Memberikan story yang samar kepada model. Masukan yang buruk menghasilkan keluaran yang buruk.
  • Melupakan edge case dan pemeriksaan non-fungsional. Studi menunjukkan bahwa model cenderung melewatkannya.
  • Memasukkan data pribadi ke dalam prompt. Gunakan nilai fiktif dan ikuti kebijakan data Anda.
  • Melewatkan tautan ke kriteria penerimaan. Tanpa tautan itu, Anda tidak dapat menunjukkan apa yang sudah tercakup.

Bagaimana perangkat lunak dapat membantu

Spreadsheet atau alat manajemen pengujian Anda dapat menyimpan kriteria, kasus yang dihasilkan, dan status peninjauan secara berdampingan. Tandai setiap kasus sebagai diterima, ditulis ulang, atau ditolak, dan simpan jumlahnya, sehingga setelah beberapa sprint Anda mengetahui tingkat penolakan Anda sendiri. Alat peninjauan kode atau dokumen bersama membantu penguji dan product owner meninjau bersama. Jika Anda menggunakan asisten AI, pilihlah yang memungkinkan Anda mengendalikan prompt dan melihat keluaran lengkapnya. Untuk kasus tingkat browser, alat end-to-end testing yang sederhana dapat menjalankan langkah-langkah yang telah disetujui. Lakukan uji coba di satu tim sebelum menerapkannya secara luas.

Langkah berikutnya

Ambil satu user story yang sudah selesai, minta alat AI untuk membuat kasus uji, dan periksa draf tersebut terhadap daftar periksa di atas. Hitung apa yang Anda hapus, tulis ulang, dan tambahkan, lalu gunakan angka-angka tersebut untuk memutuskan seberapa jauh AI boleh membuat kasus uji dari user story di tim Anda.

Entities in this article

Generative AI AI hallucination Human in the loop End-to-end testing

Related articles

RSS