Tes regresi mana yang harus diotomasi terlebih dahulu? Panduan pengambilan keputusan
By Mirko Peters · · Updated
Tes mana yang diotomasi lebih dulu? Mulailah dengan tes regresi yang kritis bagi bisnis, sering dijalankan, dan stabil. Gunakan lima kriteria dan matriks penilaian sederhana untuk memutuskannya.
Automatically translated with AI from the original post. Read the English original
Tes mana yang harus diotomasi lebih dulu? Mulailah dengan tes regresi yang mencakup alur kritis bagi bisnis, dijalankan pada setiap build, jarang berubah, dan paling lama diulang secara manual. Panduan ini ditujukan bagi QA lead dengan tim kecil dan daftar pemeriksaan manual yang panjang, yang membutuhkan urutan yang dapat dipertanggungjawabkan. Anda akan menemukan lima kriteria seleksi, daftar hal yang sebaiknya tetap manual untuk saat ini, dan matriks penilaian sederhana. Sebuah contoh kerja dengan angka fiktif memberi peringkat pada lima kandidat tes, sehingga Anda dapat langsung menerapkan metodenya.
Poin Penting
- Otomasi lebih dulu tes regresi yang mencakup alur kritis bagi bisnis, sering dijalankan, jarang berubah, dan paling banyak menghabiskan waktu jika diulang secara manual.
- Urutkan fitur berdasarkan biaya kegagalan: probabilitas dan tingkat keparahan cacat menentukan tes mana yang layak diotomasi sebelum yang lain.
- Biarkan pemeriksaan sekali pakai, yang tidak stabil, eksploratif, dan kegunaan tetap manual untuk saat ini, karena mengotomasinya bisa lebih mahal daripada menjalankannya secara manual.
- Skor tertimbang dari 1 hingga 5 pada kriteria kritis, frekuensi, stabilitas, upaya manual, dan sifat tidak konsisten (flakiness) mengubah perdebatan menjadi daftar peringkat.
- Utamakan lapisan tes terendah yang sudah memadai, dan pertahankan tes end-to-end tingkat browser untuk alur yang validasi penuhnya sangat penting.
Mengapa urutan otomasi itu penting
Otomasi membutuhkan usaha, dan usaha tersebut hanya terbayar jika sebuah tes dijalankan berkali-kali. Tes yang dijalankan pada setiap build cepat kembali modalnya. Tes yang hanya dijalankan sekali tidak pernah kembali modalnya.
Dalam tim agile dengan sprint yang singkat, tim jarang punya waktu untuk mengotomasi semuanya. Otomasi tes adalah sebuah investasi, sehingga pikirkan tentang return on investment (ROI): jam kerja manual yang dihemat oleh setiap kasus uji otomatis, dikurangi jam untuk menulis dan memelihara skrip tesnya. Urutan otomasi akan menentukan seberapa cepat investasi Anda kembali. Tim yang mengotomasi sepuluh pemeriksaan bernilai rendah dan membiarkan checkout tetap manual telah menempatkan usahanya di tempat yang salah.
Panduan Ranorex tentang mengetahui apa yang perlu diotomasi menempatkan pengujian regresi di urutan teratas daftar prioritas, karena pengulangan yang sering melipatgandakan penghematan. Panduan ini juga menyarankan tim untuk mengurutkan fitur berdasarkan biaya kegagalan, serta menambahkan tes untuk fitur yang paling berisiko ke rangkaian regresi lebih dulu.
Artikel TestDevLab tentang memprioritaskan kasus uji untuk pengujian regresi menjelaskan gagasan yang sama sebagai prioritisasi berbasis risiko: mengurutkan kasus uji berdasarkan faktor seperti probabilitas kegagalan dan tingkat keparahan dampaknya. Artikel ini menyarankan untuk memulai dari fungsi berisiko tinggi dan sangat kritis, lalu beralih ke yang berisiko lebih rendah. Artikel tersebut juga menyatakan bahwa fitur yang sering diperbarui serta fitur yang kompleks dan terdiri dari banyak komponen layak diuji lebih awal.
Pesan praktisnya: otomasi berdasarkan risiko dan seberapa sering tes akan dijalankan, bukan berdasarkan daftar fitur atau kemudahan.
Strategi otomasi yang singkat menyebutkan kandidat, alat, penanggung jawab, dan tanggal tinjauan. Sebagian besar praktik terbaik otomasi tes dimulai dengan cara yang sama: tentukan apa yang akan diotomasi, lalu baru pilih alatnya.
Tes mana yang harus diotomasi lebih dulu: lima kriteria
Panduan Katalon tentang memilih kasus uji regresi menyebutkan bahwa kandidat otomasi yang kuat memenuhi sebagian besar dari sejumlah kondisi. Lima kondisi berikut paling penting bagi tim kecil.
- Kritis bagi bisnis. Pengujian mencakup alur yang berdampak pada pendapatan, sensitif dari sisi keamanan, atau merupakan alur inti, seperti login, checkout, atau pembayaran. Jika alur ini rusak, pelanggan yang pertama menyadarinya.
- Sering dijalankan. Pengujian dijalankan pada setiap pull request, setiap build malam, atau setiap rilis.
- Stabil. Fitur jarang berubah, sehingga pengujian tidak perlu terus-menerus diperbaiki.
- Mahal jika dilakukan manual. Pengujian bersifat repetitif, lambat, dan rentan terhadap kesalahan manusia. Pemeriksaan yang berulang dan berbasis data cocok untuk diotomasi, karena langkah yang sama dijalankan dengan banyak input, dan di sinilah pengujian otomatis paling banyak menghemat waktu.
- Hasil yang jelas. Pengujian memiliki hasil lulus atau gagal yang objektif dan mudah diperiksa, misalnya melalui layar, respons API, atau kondisi sistem. Cakup kasus tepi yang penting dalam data uji, bukan setiap input yang mungkin ada.
Pengujian yang memenuhi empat atau lima kondisi ini berada di urutan teratas antrean. Pengujian yang hanya memenuhi satu atau dua kondisi harus menunggu.
Katalon menambahkan poin tentang lapisan: utamakan lapisan terendah yang masih efektif, dan otomatiskan alur UI yang tidak stabil hanya ketika validasi end-to-end benar-benar diperlukan. Jika suatu aturan dapat diperiksa dengan unit test atau panggilan API, pemeriksaan tersebut biasanya lebih cepat dan lebih stabil dibandingkan pengujian browser. Pengujian UI yang lambat hanya layak untuk sedikit alur yang memang membutuhkannya. Simpan pengujian end-to-end tingkat browser untuk perjalanan pengguna yang harus dibuktikan melalui seluruh rangkaian layar.
Sesuaikan urutan dengan piramida pengujian dan pipeline Anda
Seleksi menentukan apa yang diotomatisasi. Lapisan menentukan di mana. Practical Test Pyramid karya Martin Fowler menganjurkan banyak unit test kecil dan cepat, sejumlah pengujian yang lebih luas, dan sangat sedikit pengujian tingkat tinggi. Aturannya dalam memilih tingkat pengujian berguna untuk daftar berperingkat: jika pengujian tingkat lebih tinggi menemukan galat dan tidak ada pengujian tingkat lebih rendah yang gagal, tulislah pengujian tingkat lebih rendah. Dorong pengujian selalu ke bawah sejauh mungkin, dan hapus pengujian tingkat tinggi yang duplikat dengan yang sudah dicakup lapisan di bawahnya.
Jadi, sebelum menulis pengujian browser untuk item yang sudah berperingkat, ajukan dua pertanyaan. Apakah unit test atau integration test dapat membuktikan aturan yang sama lebih cepat? Apakah ada kasus uji otomatis yang kini menjadi berlebihan? Ini adalah pertanyaan kami, yang disusun berdasarkan aturan Fowler, bukan daftar periksa dari sumber-sumber tersebut.
Setelah itu, tempatkan setiap pengujian di dalam pipeline. Ranorex menjelaskan smoke test sebagai subset kecil dari pengujian regresi yang dijalankan pada setiap build baru, dan Katalon menyebut setiap pull request, build malam, dan rilis sebagai titik ketika kandidat kuat dijalankan. Pembagian praktis, yang merupakan saran kami sendiri, adalah menjalankan kumpulan smoke test kecil pada setiap build dan rangkaian otomasi yang lebih lengkap setiap malam atau pada setiap rilis. Biarkan pengujian eksploratif berada di tangan tim QA, dan tinjau rencana ini setiap kuartal.
Yang tetap dikerjakan secara manual untuk saat ini
Mengatakan tidak juga bagian dari rencana. Ranorex mencantumkan kasus ketika otomasi tidak sepadan:
- Pengujian sekali pakai. Mengotomatisasi sebuah pengujian bisa memakan waktu lebih lama daripada menjalankannya secara manual sekali saja. Pengujian yang akan masuk ke rangkaian regresi atau bersifat berbasis data tidak termasuk sekali pakai.
- Fitur yang tidak stabil. Selama suatu kebutuhan masih bersifat eksperimental atau dalam pengembangan, uji secara manual.
- Pengujian tanpa hasil lulus atau gagal yang jelas. Otomatiskan hanya jika hasilnya objektif.
- Pengujian eksploratif dan kegunaan. Ranorex menyatakan bahwa pengujian ini tidak dapat dan tidak seharusnya diotomatisasi, karena bergantung pada penilaian manusia.
Fitur yang menolak otomasi, seperti CAPTCHA, memerlukan rencana tersendiri. Ranorex menyarankan untuk menonaktifkannya di lingkungan pengujian, menambahkan bypass khusus pengembang, atau menjeda proses agar penguji dapat menyelesaikannya sendiri.
Manual bukan berarti terlupakan. Catat pengujian ini dalam daftar dengan tanggal peninjauan, agar fitur yang sudah stabil dapat dinaikkan prioritasnya.
Nilai kandidat dengan matriks sederhana
Ketika dua pengujian sama-sama tampak penting, skor membuat keputusan menjadi transparan. Katalon merekomendasikan pemberian skor 1 hingga 5 untuk setiap pengujian berdasarkan faktor berbobot, lalu mengalikan setiap skor dengan bobotnya dan menjumlahkan hasilnya. Contoh bobot dari Katalon adalah kekritisan bisnis 0,3, frekuensi eksekusi 0,2, stabilitas 0,2, penghematan upaya manual 0,15, dan skor flakiness 0,15, dengan catatan bahwa skor yang lebih tinggi berarti risiko flakiness yang lebih rendah. Ambang batas yang disarankan adalah 4,0 atau lebih untuk diotomatisasi, 3,0 hingga 3,9 untuk ditinjau kembali nanti, dan di bawah 3,0 untuk tetap dilakukan secara manual atau eksploratif.
Anda dapat menggunakan bobot ini apa adanya atau mengubahnya. Yang penting bukan angka pastinya. Yang penting adalah tim menyepakati faktor-faktornya sebelum mendiskusikan pengujian satu per satu.
Dari mana skor ini berasal? Katalon mencatat bahwa data produksi dan insiden di masa lalu menunjukkan jalur mana yang paling penting. TestDevLab menjelaskan prioritisasi berbasis riwayat, yaitu memeringkat pengujian berdasarkan catatan temuan cacatnya di masa lalu. Gunakan daftar insiden dan tiket dukungan Anda untuk mengisi kolom kekritisan, dan gunakan riwayat build Anda untuk mengisi kolom frekuensi dan flakiness. Skor yang berbasis data lebih mudah dipertanggungjawabkan daripada skor yang berbasis opini. Tinjau peringkat tersebut bersama seluruh tim, dan pantau cakupan pengujian untuk alur kritis Anda dalam bentuk hitungan sederhana: dari sepuluh alur teratas Anda, berapa banyak yang sudah memiliki kasus uji otomatis?
Contoh: memeringkat lima kandidat pengujian
Skor dalam contoh ini bersifat rekaan, sedangkan bobotnya sama seperti di atas.
Seorang QA lead memiliki lima pemeriksaan manual yang harus diperingkat. Setiap faktor diberi skor dari 1 hingga 5.
- Ekspor faktur. Kekritisan 5, frekuensi 5, stabilitas 4, upaya 4, skor flakiness 3. Skor: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Otomatisasi pertama.
- Atur ulang kata sandi. Kekritisan 5, frekuensi 3, stabilitas 5, upaya 3, skor flakiness 4. Skor: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Otomatisasi berikutnya.
- Filter laporan. Kekritisan 3, frekuensi 4, stabilitas 4, upaya 4, skor flakiness 4. Skor: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Tinjau ulang pada kuartal berikutnya.
- Tata letak dasbor baru. Kekritisan 3, frekuensi 3, stabilitas 1, upaya 3, skor flakiness 2. Skor: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Tetap manual sampai desainnya stabil.
- Unggah foto profil. Kekritisan 2, frekuensi 2, stabilitas 3, upaya 2, skor flakiness 2. Skor: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Tetap manual.
Hasilnya adalah daftar peringkat: ekspor faktur, lalu atur ulang kata sandi, dengan filter laporan sebagai cadangan. QA lead memulai dengan kerangka otomatisasi kecil, data uji bersama, dan kasus uji pertama ini, lalu memperluas rangkaian otomatis secara bertahap. Product owner dapat melihat alasannya, dan ketika dasbor berhenti berubah, skor stabilitasnya naik dan dasbor tersebut dapat naik peringkat.
Kesalahan umum
- Mengotomatisasi pengujian yang paling mudah lebih dulu. Pengujian yang mudah sering kali berdampak kecil, sehingga rangkaian pengujian bertambah tanpa melindungi hal-hal yang penting.
- Mengotomatisasi fitur yang tidak stabil. Pengujian rusak setiap ada perubahan, dan tim lama-kelamaan berhenti mempercayainya.
- Menghitung jumlah pengujian, bukan dampaknya. Rangkaian besar yang berisi pemeriksaan bernilai rendah lebih mahal dipelihara daripada manfaat yang dihasilkannya.
- Memulai setiap pemeriksaan di lapisan browser. Jika unit test atau pemeriksaan API dapat menguji aturan tersebut, biasanya lebih murah untuk tetap menggunakannya.
- Mengabaikan pengujian manual yang masih penting. Pemeriksaan eksploratif dan tinjauan kegunaan tetap menjadi tugas penguji, dan pengujian perangkat lunak membutuhkan kedua jenis upaya tersebut.
- Tidak pernah meninjau ulang peringkat. Penggunaan, dampak, dan stabilitas terus berubah, jadi tinjau daftar ini setiap kuartal.
Bagaimana perangkat lunak dapat membantu
Spreadsheet dengan lima kriteria dan bobotnya sudah cukup untuk memulai. Tambahkan kolom untuk tanggal tinjauan terakhir. Alat manajemen pengujian Anda, jika ada, juga dapat menunjukkan seberapa sering setiap pengujian dijalankan dan seberapa sering gagal, yang menjadi dasar skor frekuensi dan flakiness. Data cacat di masa lalu dari sistem tiket Anda menunjukkan area mana yang paling sering rusak. Alat pengujian browser, baik berbasis skrip maupun berbasis bahasa biasa, baru bermanfaat setelah peringkat menunjukkan alur mana yang layak diuji. Pilih alatnya setelah daftar tersedia, bukan sebelumnya.
Langkah berikutnya
Daftar dua puluh pemeriksaan regresi manual Anda yang paling lambat, beri skor pada masing-masing dengan lima faktor, lalu urutkan hasilnya. Kemudian otomatisasi tiga teratas, dan gunakan daftar peringkat tersebut untuk menjawab pengujian mana yang harus diotomatisasi lebih dulu dalam rapat perencanaan Anda berikutnya.