Tes end-to-end yang tidak stabil: mengapa gagal dan cara memangkasnya
By Mirko Peters · · Updated
Tes end-to-end yang tidak stabil dapat lulus dan gagal tanpa perubahan kode. Pelajari lima penyebab umumnya, cara memperbaiki waktu tunggu dan data uji, serta apa yang harus dilakukan terhadap tes yang belum dapat Anda perbaiki.
Automatically translated with AI from the original post. Read the English original
Tes end-to-end yang tidak stabil adalah tes browser otomatis yang lulus pada satu eksekusi dan gagal pada eksekusi berikutnya tanpa perubahan pada kode, tes, atau lingkungan. Panduan ini ditujukan bagi QA lead dan automation engineer yang lebih banyak menghabiskan waktu untuk menjalankan ulang build merah daripada memperbaiki bug. Anda akan melihat mengapa tes ini menjadi tidak stabil, apa lima penyebab umumnya, cara memperbaiki yang paling parah (menunggu), dan cara mengelola tes yang belum dapat diperbaiki. Contoh kasus dengan angka rekaan menunjukkan cara menemukan akar masalah dalam tiga langkah.
Poin Penting
- Tes yang tidak stabil kadang lulus dan kadang gagal tanpa perubahan pada kode, tes, atau lingkungan, sehingga kegagalan tidak memberi informasi apa pun sampai tes dijalankan ulang.
- Google melaporkan bahwa sekitar 1,5 persen eksekusi tesnya tidak stabil dan hampir 16 persen tesnya menunjukkan tingkat ketidakstabilan tertentu. Artinya, ketidakstabilan adalah hal yang wajar dalam skala besar dan memerlukan rencana penanganan.
- Lima penyebab umumnya adalah state bersama, waktu, layanan jarak jauh, jam sistem, dan sumber daya yang bocor. Waktu adalah hal pertama yang perlu diperiksa pada tes browser.
- Ganti jeda tetap (fixed sleep) dengan menunggu kondisi yang terlihat, dan berikan data sendiri untuk setiap tes agar tes tidak saling mengganggu.
- Karantina tes yang tidak stabil sebagai solusi sementara, tetapi batasi jumlah tes yang boleh berada di sana dan lamanya, karena jika tidak, rangkaian regresi perlahan kehilangan nilainya.
Mengapa tes yang tidak stabil sangat merugikan
Sebuah tes dikatakan tidak stabil jika hasilnya tidak dapat diulang. Artikel Martin Fowler tentang non-determinism dalam tes mendefinisikan tes non-deterministik sebagai tes yang "lulus kadang-kadang dan gagal kadang-kadang," "tanpa perubahan yang terlihat pada kode, tes, atau lingkungan."
Kerugian utamanya berasal dari hilangnya kepercayaan. Jika build merah mungkin berarti bug nyata atau mungkin hanya gangguan, orang akan belajar untuk mengabaikan build merah. Akibatnya, cacat yang sebenarnya dapat lolos. Tim juga membuang waktu: setiap kegagalan harus dijalankan ulang sebelum ada yang dapat memastikan apakah itu penting. Rangkaian tes yang tidak stabil juga memperlambat pipeline CI, karena setiap eksekusi tes yang gagal menunggu pengulangan dan menghalangi antrean merge di belakangnya.
Angka dari sistem berskala besar menunjukkan bahwa ini adalah hal yang normal, bukan jarang terjadi. Sebuah tulisan di Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, melaporkan bahwa sekitar 1,5 persen dari seluruh eksekusi tes menghasilkan hasil yang tidak stabil, dan hampir 16 persen tes memiliki tingkat ketidakstabilan tertentu. Tulisan itu juga menyebutkan bahwa sekitar 84 persen transisi dari lulus ke gagal yang diamatinya melibatkan tes yang tidak stabil, dan rata-rata proyek memuat sekitar 1.000 tes individual. Angka Anda mungkin berbeda, tetapi pelajarannya tetap berlaku: dalam skala besar, ketidakstabilan adalah sebuah kepastian, sehingga Anda memerlukan proses.
Pengujian end-to-end berbasis browser sangat rentan. Setiap tes bergantung pada browser, jaringan, aplikasi yang diterapkan, akun uji, dan sering kali layanan pihak ketiga. Semakin banyak bagian yang bergerak berarti semakin banyak peluang untuk berubah-ubah. Itulah sebabnya tes e2e cenderung kurang stabil dibandingkan tes unit, yang memiliki jauh lebih sedikit bagian yang bergerak.
Lima penyebab umum tes end-to-end yang tidak stabil
Artikel Fowler menyebutkan lima penyebab umum. Masing-masing berlaku untuk tes browser.
- Kurangnya isolasi. Tes berbagi state, misalnya rekaman database atau sesi yang sudah login, sehingga satu tes mengubah apa yang dilihat tes lain. Perbaikannya: bangun kembali kondisi awal untuk setiap tes, atau bersihkan setelah tes selesai.
- Perilaku asinkron. Halaman membutuhkan waktu untuk merespons, sedangkan tes bertindak terlalu cepat atau terlalu lambat. Saran Fowler adalah jangan pernah menggunakan jeda tetap (sleep) untuk menunggu respons asinkron, dan gunakan callback atau polling sebagai gantinya.
- Layanan jarak jauh. Sandbox pembayaran, layanan email, atau identity provider yang berjalan secara langsung bisa lambat atau tidak tersedia. Perbaikannya: ganti sistem jarak jauh dengan test double pada tes yang tidak memerlukan sistem aslinya.
- Waktu. Tes yang membaca jam sistem berperilaku berbeda pada tengah malam, di akhir bulan, atau di zona waktu yang berbeda. Perbaikannya: kendalikan jam di dalam tes.
- Kebocoran resource. Sebuah tes membiarkan koneksi atau sesi tetap terbuka, lalu tes lain yang tidak berhubungan gagal ketika resource tersebut habis.
Postingan Google menambahkan concurrency, ketergantungan pada perilaku non-deterministik atau tidak terdefinisi, kode pihak ketiga yang tidak stabil, dan masalah infrastruktur. Gunakan kedua daftar ini sebagai daftar periksa saat Anda menyelidiki akar masalah tes yang gagal.
Perbaiki waktu tunggu terlebih dahulu
Pada tes browser, waktu biasanya menjadi tersangka pertama. Tes yang mengklik tombol sebelum siap, atau memeriksa pesan sebelum muncul, akan lolos di mesin yang cepat dan gagal di mesin yang sibuk.
Jeda tetap seperti "tunggu 5 detik" adalah jawaban terburuk. Jeda ini membuang waktu ketika halaman cepat, dan tetap gagal ketika halaman lambat. Fowler menjelaskan polling sebagai pengecekan yang dilakukan secara berkala, bukan hanya sekali, dan menegaskan bahwa batas waktu tidak boleh ditulis sebagai nilai literal di dalam tes.
Alat modern sudah menyediakan mekanisme ini. Dokumentasi Playwright tentang actionability mencantumkan pemeriksaan yang dilakukannya sebelum sebuah aksi: elemen harus terlihat, stabil (posisinya tidak berubah antar-frame animasi), dapat diaktifkan, mampu menerima event pada titik klik, dan, untuk pengetikan, dapat diedit. Playwright menunggu sampai pemeriksaan tersebut lolos, atau gagal dengan error timeout. Halaman praktik terbaiknya menambahkan bahwa web-first assertion akan mencoba ulang hingga kondisi terpenuhi.
Aturan praktis:
- Tunggu kondisi yang bisa dilihat pengguna, misalnya sebuah heading atau baris, bukan menunggu sejumlah detik.
- Utamakan selector berbasis role, teks, atau test ID dibandingkan jalur CSS atau XPath yang panjang, karena jalur tersebut rusak ketika tata letak halaman berubah.
- Tetapkan satu timeout yang longgar untuk seluruh langkah, bukan banyak jeda kecil.
- Periksa hasilnya dengan assertion yang mencoba ulang.
Isolasi data uji dan lingkungan pengujian
Pengungkit besar kedua adalah data. Berikan setiap tes akunnya sendiri, pesanannya sendiri, atau foldernya sendiri. Jangan biarkan dua tes mengubah rekaman yang sama. Jika tes harus berjalan paralel, data bersama pasti menimbulkan kegagalan acak.
Periksa juga lingkungannya. Sistem staging bersama yang di-deploy oleh tim lain di tengah proses pengujian Anda akan menyebabkan kegagalan yang tidak bisa diatasi dengan perbaikan tes apa pun. Sepakati jendela deployment, atau jalankan suite Anda pada lingkungan khusus.
Jika sebuah langkah bergantung pada layanan eksternal, tanyakan apakah tes tersebut memang tentang layanan itu. Jika tidak, ganti dengan stub. Pertahankan sejumlah kecil tes yang menggunakan layanan asli, dan perlakukan sebagai kelompok terpisah.
Terakhir, buat setiap kegagalan mudah didiagnosis. Simpan log, screenshot, dan trace dari setiap tes yang gagal di pipeline CI Anda. Halaman praktik terbaik Playwright menyarankan pengumpulan trace pada percobaan ulang pertama dari tes yang gagal, sehingga Anda dapat memutar ulang apa yang terjadi alih-alih menebak-nebak. Dengan log dan trace, tes yang tidak stabil berubah menjadi masalah alur kerja yang jelas dan bisa Anda perbaiki, misalnya timeout pada satu langkah UI yang lambat.
Apa yang dilakukan terhadap tes yang belum bisa diperbaiki
Sebagian tes yang tidak stabil membutuhkan waktu lebih dari yang Anda miliki, dan sebagian bergantung pada kode yang bukan milik Anda. Dalam kondisi seperti itu, kelola secara terbuka dan jaga agar hasil tes yang stabil tetap dapat dipercaya.
- Karantina. Fowler menjelaskan pemindahan tes non-deterministik ke suite terpisah, sehingga tes yang sehat tetap memberikan umpan balik yang andal. Ia menambahkan bahwa tes yang dikarantina tetap harus segera diperbaiki, dan jumlah serta lamanya karantina perlu dibatasi.
- Coba ulang dengan catatan. Google menjelaskan cara menjalankan ulang tes yang gagal dan menandai tes sebagai flaky, sehingga tes hanya dilaporkan gagal setelah tiga kegagalan berturut-turut. Postingan tersebut menyebut cara ini hampir bukan solusi yang sempurna dan memperingatkan bahwa cara ini bisa dengan mudah menutupi race condition yang nyata atau bug lain pada kode yang diuji.
- Pantau tingkat ketidakstabilan tes dari waktu ke waktu. Google juga menjelaskan alat yang dapat mendeteksi perubahan tingkat ketidakstabilan sebuah tes. Bahkan daftar sederhana berisi tes beserta tingkat keberhasilannya sudah menunjukkan di mana harus mulai mencari.
Apa pun pilihan Anda, buat daftar tes yang tidak stabil terlihat jelas, berikan setiap tes seorang pemilik, dan tetapkan tanggal.
Contoh: menemukan penyebab dalam tiga langkah
Angka-angka berikut adalah rekaan.
Sebuah suite memiliki 200 tes browser. Selama dua minggu, 14 di antaranya gagal setidaknya sekali tanpa ada perubahan kode. Itu berarti 7 persen dari seluruh tes.
- Kelompokkan berdasarkan penyebab. Tim membaca log kegagalan dan memilah 14 tes tersebut. Delapan gagal karena timeout pada sebuah tombol, empat gagal karena dua tes mengubah rekaman pelanggan yang sama, dan dua gagal hanya setelah deployment ke staging.
- Perbaiki kelompok terbesar. Tim mengganti jeda tetap (fixed sleep) pada delapan tes terkait waktu dengan menunggu kondisi yang terlihat. Tujuh tes berhenti gagal.
- Perbaiki kelompok berikutnya. Setiap tes yang sebelumnya mengubah pelanggan bersama kini membuat pelanggannya sendiri. Keempat tes tersebut berhenti gagal.
Setelah langkah ketiga, tersisa tiga tes yang tidak stabil. Tim mengarantina dua tes yang terkait deployment, lalu memberi masing-masing seorang pemilik dan tenggat dua minggu. Persentase tes tidak stabil dalam suite turun dari 7 persen menjadi 1,5 persen, dan tim memeriksanya kembali setiap minggu.
Kesalahan umum
- Menambahkan jeda (sleep). Cara ini menyembunyikan masalah untuk sementara waktu dan memperlambat setiap eksekusi.
- Mengulang semua tes lalu mengabaikannya. Pengulangan tanpa catatan menyembunyikan cacat yang sebenarnya, dan akar masalahnya tetap ada.
- Berbagi data uji antar-tes. Eksekusi paralel akan mengubahnya menjadi kegagalan acak.
- Menguji layanan pihak ketiga di setiap tes. Gunakan stub untuk layanan yang bukan menjadi fokus pengujian.
- Membiarkan karantina tumbuh tanpa batas. Karantina tanpa pemilik akan menjadi kuburan tes.
- Menyalahkan alat terlebih dahulu. Periksa waktu, data, dan lingkungan sebelum Anda berganti framework.
Bagaimana perangkat lunak dapat membantu
Mulailah dengan apa yang ditawarkan framework Anda: auto-waiting, trace, dan pengulangan di CI. Tambahkan dasbor kegagalan berdasarkan tes dan berdasarkan penyebab, agar pola terlihat jelas. Pada awalnya, spreadsheet pun sudah cukup. Alat yang menggunakan agen AI untuk menjalankan tes dari langkah-langkah dalam bahasa sehari-hari mungkin dapat mengurangi sebagian masalah waktu, karena agen yang memutuskan berapa lama harus menunggu. Namun, alat tersebut membawa risikonya sendiri, misalnya salah menafsirkan instruksi. Ujicobakan pada beberapa tes dan bandingkan tingkat ketidakstabilannya sebelum Anda memutuskan.
Langkah berikutnya
Daftar sepuluh tes yang paling tidak andal minggu ini, berikan penyebab yang mungkin untuk masing-masing dari lima penyebab di atas, dan perbaiki masalah penantian (waiting) terlebih dahulu. Setelah itu, pantau tingkat tes end-to-end yang tidak stabil setiap minggu, dan lindungi nilai rangkaian pengujian regresi Anda dengan batas karantina (quarantine).