Apa itu otomasi pengujian bahasa alami? Penjelasan singkat
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Otomasi pengujian bahasa alami memungkinkan penguji menulis langkah dalam bahasa Inggris sederhana, lalu AI menjalankannya di browser. Pelajari cara kerjanya, batasannya, dan cara menilainya.
Automatically translated with AI from the original post. Read the English original
Otomasi pengujian bahasa alami berarti Anda menulis pengujian dalam bahasa Inggris sehari-hari, lalu model AI menjalankannya di browser sungguhan. Alih-alih skrip penuh selector, Anda menulis "Klik tombol Log In" atau "Pastikan total pesanan menampilkan 49.00". Penjelasan ini ditujukan bagi QA lead dan penguji yang pernah mendengar istilah tersebut dan ingin memahami apa itu, cara kerjanya, dan di mana batasnya. Anda akan melihat gagasan ini langkah demi langkah, batasan yang dinyatakan sendiri oleh pembuat alat, dan cara sederhana untuk menilai apakah pendekatan ini cocok untuk tim Anda.
Poin Penting
- Otomasi pengujian bahasa alami berarti Anda mendeskripsikan langkah pengujian dalam bahasa Inggris sederhana, dan model AI mengubahnya menjadi tindakan browser saat pengujian dijalankan.
- Pendekatan ini menggantikan selector dan jeda yang ditulis manual dengan instruksi seperti klik tombol Log In, sehingga penguji yang tidak menulis kode tetap dapat menulis dan membaca pengujian.
- Vendor mendokumentasikan batasannya: instruksi yang luas atau kompleks lebih sering gagal, dan instruksi satu langkah paling andal.
- Alat AI yang dirancang untuk tugas web umum dapat mengarang hasil tanpa memeriksa aplikasi yang sebenarnya, sehingga setiap langkah yang dihasilkan perlu ditinjau dan memiliki aturan lulus atau gagal yang jelas.
- Anggap ini sebagai cara untuk menulis pengujian end-to-end lebih cepat, bukan sebagai pengganti desain pengujian, data pengujian, atau lingkungan yang baik.
Makna otomasi pengujian bahasa alami
Pengujian otomatis klasik pada antarmuka pengguna berbentuk kode. Developer atau insinyur otomasi menulis langkah-langkah dan memberi tahu alat cara menemukan setiap elemen di halaman, misalnya melalui ID atau selector CSS. Pengujian menjalankan langkah yang sama setiap kali. Ketika halaman berubah, selector bisa tidak lagi cocok dan pengujian gagal.
Dengan pendekatan ini, penguji menulis maksudnya saja. Tim Cypress menggambarkan perintah cy.prompt mereka sebagai cara mendeskripsikan pengujian dalam bahasa sehari-hari, yang ditulis sebagai string teks di dalam file pengujian. Artikel di blog Cypress menyebutkan bahwa langkah yang dihasilkan dapat diperiksa dan di-debug, lalu dikeluarkan menjadi kode pengujian statis yang dapat disimpan.
Teknologi yang mendasarinya adalah AI generatif: model membaca teks dan halaman, lalu memutuskan apa yang harus dilakukan. Pada sebagian besar alat, model ini adalah large language model, yaitu model AI yang dilatih dengan teks dalam jumlah besar. Beberapa vendor menyebut perangkat lunak yang melakukannya sebagai agen AI, karena perangkat ini melakukan tindakan, bukan hanya menjawab pertanyaan. Tujuannya sama di setiap kasus. Orang yang memahami produk dapat menulis dan membaca pengujian tanpa mempelajari bahasa pemrograman, sehingga pendekatan ini kadang dipasarkan sebagai pengujian tanpa kode (codeless testing).
Bagi tim pengujian perangkat lunak, perubahan ini memengaruhi pembuatan pengujian, bukan proses pengujiannya. Desain pengujian, data pengujian, dan eksekusi pengujian tetap sama, dan tetap ada orang yang memutuskan kasus uji mana yang akan dicakup.
Dalam otomatisasi pengujian tradisional, insinyur menulis dan memelihara skrip uji untuk setiap alur. Alat AI sebagai gantinya menggunakan pemrosesan bahasa alami untuk membaca setiap kalimat. Sebagian vendor bahkan menyebut alat mereka agentic. Panduan dari vendor Autosana, yang bersifat promosi, mendefinisikan perbedaannya: alat agentic menafsirkan tujuan yang ditulis dalam bahasa Inggris sederhana, menjelajahi halaman yang sedang berjalan, bertindak, dan menyesuaikan diri di tengah eksekusi, dan codeless tidak sama dengan agentic. Panduan yang sama juga memperingatkan bahwa banyak produk mengklaim pengujian berbasis AI hanya karena mereka menambahkan fitur autocomplete ke editor skrip. Perlakukan label-label ini dengan hati-hati, dan pertahankan aturan lulus atau gagal yang Anda kendalikan sendiri.
Cara kerja pengujian berbasis instruksi tertulis
Detailnya berbeda di setiap alat, tetapi alurnya serupa. BrowserStack mendokumentasikan fitur beta "NL Test Automation Agent" untuk Selenium, dan halamannya memberikan gambaran yang jelas:
- Anda menulis instruksi singkat. Setiap perintah berupa satu kalimat bahasa Inggris, bukan selektor atau kode. Halaman tersebut menyarankan untuk memulai dengan kata kerja tindakan, misalnya "Click the Submit button".
- AI menafsirkannya saat runtime. Langkah otomatisasi dibuat selama pengujian berjalan, sehingga tidak ada selektor atau wait yang ditulis secara manual.
- Alat melakukan tindakan di browser. Halaman tersebut mencantumkan jenis perintah seperti click, type, search, hover, dan scroll.
- Alat melaporkan hasilnya. Eksekusi yang berhasil menampilkan log sukses, dan eksekusi yang gagal menampilkan log error beserta alasannya.
Bandingkan dengan pendekatan yang direkomendasikan Playwright dalam best practices-nya: uji apa yang dilihat dan dilakukan pengguna, dan utamakan locator berbasis role, teks, serta test ID dibandingkan selektor XPath atau CSS yang mudah rusak ketika halaman berubah. Pendekatan berbasis instruksi tertulis membawa gagasan yang sama lebih jauh. Penguji menyebutkan apa yang akan dilihat pengguna, misalnya "the Log In button", lalu alat yang menemukannya.
Kapan pengujian berbahasa alami membantu
Pendekatan ini lebih cocok untuk sebagian pekerjaan dibandingkan yang lain.
- Smoke check dan alur pengguna yang umum. Login, mencari, menambahkan ke keranjang, checkout. Ini adalah alur end-to-end testing yang paling penting, dan mudah dijelaskan dalam satu kalimat.
- Tim yang pengujinya tidak menulis kode. Penguji yang memahami proses bisnis dapat menulis dan membaca pengujian tersebut.
- Pembuatan pengujian. Sebagian alat dapat membuat pengujian dari deskripsi singkat. Tetap diperlukan orang untuk meninjau desain pengujian dan cakupannya.
Pendekatan ini kurang membantu jika pemeriksaan bergantung pada angka yang tepat, persiapan data yang kompleks, atau pengaturan waktu yang membutuhkan kontrol halus, seperti dalam pengujian performa. Unit test untuk sebuah kalkulasi tidak memerlukan browser maupun model AI, dan exploratory testing tetap membutuhkan orang yang penasaran.
Batasan yang diakui vendor
Pembuat alat yang jujur menyebutkan batasannya. Gunakan batasan tersebut sebagai daftar periksa ketika Anda mengevaluasi produk apa pun.
- Instruksi yang kompleks lebih sering gagal. Halaman BrowserStack menyatakan bahwa tujuan yang kompleks atau terlalu luas dapat gagal dengan error
UNSUPPORTED_OBJECTIVE, bahwa keandalannya menurun seiring perintah menjadi lebih kompleks, dan bahwa instruksi satu langkah paling akurat. Pecah tugas yang panjang menjadi langkah-langkah singkat. - Hasilnya bisa berbeda-beda. Model AI menafsirkan setiap instruksi saat runtime, sehingga kalimat yang samar dapat menghasilkan tindakan yang berbeda pada setiap eksekusi. Jaga agar setiap langkah tetap singkat dan spesifik.
- Fitur ini mungkin masih beta. Halaman yang sama menandai fitur ini sebagai beta dan menyatakan bahwa lingkungan yang didukung dapat berubah.
- Hasil yang dikarang merupakan risiko. Artikel Cypress memperingatkan bahwa banyak alat browser AI dibuat untuk tugas web umum, bukan untuk pengujian. Alat tersebut dapat menghasilkan output yang halusinatif tanpa memeriksa aplikasi yang sebenarnya, dan sering kali tidak mendukung debugging, assertion, serta siklus hidup pengujian.
Jaga agar pengujian tetap singkat, tinjau apa yang dihasilkan AI, dan tuntut aturan lulus atau gagal yang jelas untuk setiap langkah.
Kegagalan, pemeliharaan, dan CI
Pemeliharaan adalah tahap ketika pengujian berbahasa sederhana benar-benar terbukti manfaatnya, jadi tanyakan bagaimana setiap alat menangani perubahan. Panduan Cypress tentang pembuatan pengujian dengan AI menunjukkan satu desain. Alat ini menyimpan kode yang dihasilkan dalam cache, dan cache tersebut dibagikan ke berbagai mesin dan lingkungan, termasuk CI. Jadi, menjalankan ulang pengujian tidak memanggil AI lagi, kecuali prompt atau halaman membatalkan cache. Ketika selector atau teksnya berubah di antara dua kali menjalankan, alat ini membuat ulang kode untuk langkah tersebut dan menandainya sebagai self-healed di log. Panduan ini memperingatkan bahwa healing di setiap kali menjalankan menambah panggilan AI dan memperlambat eksekusi, lalu menyarankan agar elemen ditargetkan berdasarkan teks yang terlihat dan stabil. Anda juga dapat melihat kode yang dihasilkan, dengan komentar yang memetakan setiap perintah ke langkah prompt-nya, lalu menyimpannya sebagai pengganti prompt.
Panduan Autosana menyarankan proof of concept selama dua minggu pada alur pengguna yang nyata, termasuk alur yang pernah rusak sebelumnya, dengan meninjau tangkapan layar dan session replay untuk mengaudit apa yang dilakukan agen. Panduan ini tidak memberikan tingkat kegagalan yang terukur, jadi jalankan pilot Anda sendiri.
Apakah AI bisa menggantikan insinyur QA? Berdasarkan bukti ini, tidak. Orang tetap yang merencanakan apa yang akan diuji, menyiapkan data, dan memutuskan apakah suatu hasil sudah benar.
Pertanyaan yang perlu diajukan sebelum memilih alat
Gunakan pertanyaan-pertanyaan ini dalam panggilan dengan vendor atau dalam pilot. Pertanyaan ini berlaku untuk produk apa pun.
- Apa sebenarnya yang dilihat model? Apakah model memeriksa halaman yang sebenarnya, atau hanya menebak dari teks instruksi Anda?
- Bisakah saya membaca dan mengekspor apa yang telah dilakukannya? Anda membutuhkan log dari setiap langkah yang dihasilkan, dan idealnya sebuah skrip tetap yang dapat disimpan dalam version control.
- Bagaimana alat ini memutuskan lulus atau gagal? Carilah pemeriksaan eksplisit yang Anda tulis sendiri, bukan hanya penilaian model itu sendiri.
- Di mana pengujian dijalankan, dan siapa yang bisa melihat datanya? Akun uji dan tangkapan layar dapat memuat informasi yang sebenarnya.
- Apa yang ada dalam laporan kegagalan? Tangkapan layar, log, dan langkah yang gagal dapat menghemat berjam-jam waktu debugging.
- Apakah cocok dengan rangkaian pengujian kami saat ini? Periksa framework otomatisasi, pipeline, dan proses pengujian manual Anda.
Contoh: satu pengujian login, tiga cara
Angka-angkanya bersifat ilustrasi.
Sebuah tim membandingkan tiga cara menulis pengujian login.
- Kode dengan selector. Seorang engineer menulis sekitar 12 baris. Prosesnya memakan waktu 30 menit. Ketika developer mengganti ID tombol, pengujian gagal dan perlu diperbaiki.
- Bahasa alami. Seorang tester menulis empat baris: buka halaman login, ketik nama pengguna, ketik kata sandi, klik "Log In" lalu periksa bahwa judul dashboard muncul. Prosesnya memakan waktu 5 menit. Tester membaca langkah yang dihasilkan, memastikan langkah tersebut sesuai, dan hanya menggunakan AI untuk menjalankannya.
- Bahasa alami, lalu ekspor. Tim menyimpan versi berbahasa Inggris sederhana untuk eksplorasi, dan mengekspor skrip tetap untuk regression run malam hari, seperti yang dijelaskan artikel Cypress untuk alatnya sendiri.
Selama sebulan, dua kegagalan berasal dari bug nyata, dan satu dari langkah yang ambigu: "klik tombolnya" ternyata cocok dengan tombol yang salah. Mereka menulis ulang menjadi "klik tombol Log In". Ketepatan dalam kalimat sama pentingnya dengan ketepatan dalam selector.
Kesalahan umum
- Menulis instruksi panjang dan ambigu. Gunakan satu maksud per langkah, dan sebutkan nama elemennya.
- Mempercayai langkah yang dihasilkan AI tanpa membacanya. Baca setiap langkah setidaknya sekali, dan simpan log-nya.
- Melewatkan hasil yang diharapkan. Sebuah pengujian membutuhkan pemeriksaan yang jelas, seperti judul atau total. "Pastikan ini berfungsi" bukan pemeriksaan.
- Menggunakan AI untuk semua hal. Pemeriksaan unit dan integrasi sebaiknya tetap berada di dalam kode, dekat dengan developer.
- Mengadopsi alat tanpa pilot. Jalankan sepuluh pengujian nyata terlebih dahulu dan bandingkan penyebab kegagalannya.
Bagaimana perangkat lunak dapat membantu
Ada beberapa jenis alat pengujian berbasis AI. Sebagian menambahkan perintah berbahasa Inggris sederhana ke framework berbasis kode, seperti fitur Cypress dan BrowserStack di atas. Lainnya adalah platform terpisah untuk seluruh tim QA. Framework open-source seperti Playwright tetap sangat baik untuk tim yang lebih memilih kode.
Genta by Cognillo adalah salah satu contoh platform terpisah. Menurut vendor, penguji menjelaskan dalam bahasa sehari-hari apa yang seharusnya dilakukan sebuah aplikasi. Genta kemudian menjalankan pengujian di browser pada mesin virtual cloud dan melaporkan lulus atau gagal, lengkap dengan tangkapan layar dan log. Vendor menyatakan bahwa produk ini ditujukan untuk QA lead, SDET, dan automation engineer. Ini adalah pernyataan dari vendor. Bandingkan dengan opsi lain dalam pilot sebelum Anda memutuskan.
Pengungkapan: Cognillo mensponsori M365.FM.
Langkah berikutnya
Pilih satu jalur pengguna yang stabil, misalnya login dan pencarian, lalu tuliskan dalam lima langkah dengan bahasa Inggris sederhana. Jalankan di alat otomasi pengujian berbasis bahasa alami dan di framework pengujian Anda yang sekarang, kemudian bandingkan usaha, kegagalan, dan kualitas log yang dihasilkan.