M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Self-healing test: apa artinya dan di mana batasnya

By · · Updated

Otomasi pengujian self-healing memperbaiki locator yang rusak saat pengujian berjalan. Pelajari cara kerjanya, apa yang tidak bisa diperbaikinya, bagaimana ia dapat menyembunyikan bug, dan pagar pengaman apa yang perlu Anda terapkan.

Automatically translated with AI from the original post. Read the English original

Otomasi pengujian self-healing berarti alat pengujian memperbaiki locator yang rusak secara otomatis, sehingga pengujian UI tetap berjalan setelah perubahan yang tidak berbahaya, misalnya ID yang diganti namanya. Panduan ini ditujukan bagi insinyur otomasi pengujian yang pernah mendengar istilah ini dalam presentasi penjualan dan ingin jawaban yang jujur. Anda akan mempelajari cara perbaikan bekerja, apa yang bisa dan tidak bisa diperbaikinya, bagaimana ia dapat menyembunyikan bug nyata, dan aturan apa yang menjaganya tetap aman. Sebuah contoh dengan angka rekaan menunjukkan manfaat sekaligus risikonya.

Poin Penting

  • Self-healing berarti alat pengujian menemukan elemen UI melalui petunjuk lain ketika locator yang tersimpan tidak lagi cocok, sehingga pengujian dapat terus berjalan alih-alih gagal.
  • Fitur ini hampir hanya bekerja pada locator, bukan pada asersi, alur pengujian, aturan bisnis, atau masalah waktu, sehingga cakupannya hanya sebagian kecil dari pemeliharaan pengujian.
  • Risiko utamanya adalah masked regression: alat menyesuaikan diri dengan elemen yang berubah padahal perubahan itu sebenarnya merupakan cacat, dan pengujian lolos meskipun pengalaman pengguna sudah rusak.
  • Dokumentasi vendor menyatakan bahwa perbaikan terjadi saat pengujian berjalan dan skrip tetap tidak berubah, sehingga locator hasil perbaikan tetap perlu ditinjau dan dituliskan kembali.
  • Penggunaan yang aman berarti mencatat setiap perbaikan, meninjaunya secara berkala, tidak pernah membiarkan alat mengubah asersi, dan memantau lonjakan mendadak pada tingkat keberhasilan.

Apa itu pengujian self-healing dalam praktik

Pengujian UI menemukan setiap elemen UI pada halaman dengan sebuah locator. Locator adalah aturan, misalnya "elemen dengan ID btn-pay" atau "tombol bernama Pay". Dalam otomasi pengujian tradisional, seseorang harus mengedit skrip pengujian setiap kali sebuah aturan tidak lagi cocok. Dalam rangkaian pengujian yang besar, satu perombakan desain dapat membuat ratusan langkah gagal. Setiap kali pengujian gagal, insinyur QA harus memeriksanya, dan tim menghabiskan berhari-hari untuk perbaikan atau kembali ke pengujian manual.

Self-healing adalah gagasan bahwa alat itu sendiri memperbaiki aturan tersebut, sehingga pengujian self-healing tetap bertahan menghadapi perubahan yang akan merusak pengujian tradisional. Artikel BugBug Self Healing Test Automation: Hype & Reality mendefinisikannya sebagai mekanisme yang secara otomatis menyesuaikan cara pengujian mengidentifikasi elemen UI ketika locator asli berhenti bekerja.

Healing tidak berarti alat memahami produk Anda. Artinya, alat berusaha menemukan elemen yang sama lagi dengan petunjuk lain, lalu melanjutkan pengujian. Anggap pengujian self-healing sebagai perbaikan untuk satu jenis kerusakan yang sempit: perubahan UI yang membiarkan perilaku tetap sama.

Cara kerja perbaikan locator

Detailnya berbeda-beda menurut framework pengujian dan produk, tetapi sebagian besar mekanisme self-healing mengikuti pola yang sama.

  1. Belajar. Selama pengujian yang lolos berjalan, alat mencatat lebih dari satu petunjuk untuk setiap elemen. BugBug menggambarkannya sebagai fingerprint: atribut seperti ID, teks, kelas, label ARIA, dan posisi dalam struktur halaman.
  2. Deteksi. Ketika locator yang tersimpan tidak menemukan apa pun, alat tidak langsung gagal.
  3. Cari. Alat memindai halaman untuk mencari elemen yang paling mirip dengan yang diingatnya. Petunjuk yang lebih kuat dan stabil diberi bobot lebih besar, sedangkan petunjuk yang lebih lemah berfungsi sebagai cadangan.
  4. Lanjutkan dan laporkan. Alat menggunakan kecocokan baru, menyelesaikan pengujian, dan mencatat apa yang telah dilakukannya.

Dokumentasi BrowserStack untuk fitur self-healing dengan Playwright mengikuti alur yang sama. Disebutkan bahwa healing dimulai ketika locator asli sudah tidak dapat ditemukan, dan fitur ini membutuhkan setidaknya satu eksekusi sebelumnya yang berhasil dengan pengenal elemen yang sama. Dokumentasi tersebut juga menyebutkan bahwa healing terjadi saat runtime dan membuat satu eksekusi tetap hijau, sementara skrip itu sendiri tetap tidak berubah. Halaman tersebut menyarankan agar locator hasil healing dimasukkan kembali ke dalam pengujian Anda. Batasannya pun dicantumkan: healing menambah analisis tambahan selama eksekusi, dukungan untuk Playwright disebut terbatas, dan fitur ini tidak dapat memulihkan keadaan ketika elemen memang sudah tidak ada.

Beberapa alat yang lebih baru menggunakan self-healing berbasis AI: sebuah model, yang sering dibangun di atas generative AI, memilih elemen pengganti alih-alih menggunakan aturan penilaian yang tetap. Panduan T-Plan menunjukkan bahwa healing berbantuan AI memperkenalkan perilaku probabilistik ke dalam pengujian, dan bahwa otomatisasi yang andal sebaiknya tetap bersifat deterministik sedapat mungkin. BugBug menambahkan bahwa healing tidak melibatkan agen AI yang menulis ulang logika pengujian, dan tidak pula melibatkan pemahaman yang sesungguhnya terhadap aplikasi.

Pemasaran sering mengatakan bahwa pengujian AI yang melakukan healing. Dalam praktiknya, AI dalam pengujian perangkat lunak mencakup spektrum yang luas, mulai dari penilaian kemiripan sederhana hingga model yang memeringkat kandidat elemen. Tanyakan kepada vendor apa sebenarnya yang diputuskan AI, dan apakah log menunjukkan alasannya. Jika AI memilih elemen yang keliru, cacat dapat lolos, sehingga pilihan AI memerlukan peninjauan yang sama seperti healing lainnya.

Manfaat self-healing, dan hal-hal yang tidak dapat diperbaikinya

Healing paling membantu untuk perubahan kosmetik:

  • Pengembang mengganti nama ID atau kelas CSS, dan perilakunya tetap sama.
  • Pergeseran tata letak memindahkan tombol ke posisi lain.
  • Peningkatan pustaka komponen mengubah markup tetapi tidak mengubah tampilan layar.

Dalam kasus-kasus ini manfaatnya nyata: pemeliharaan pengujian berkurang, dan perubahan UI yang tidak berbahaya tidak lagi menggagalkan banyak kasus uji sekaligus.

Kemampuan self-healing sebuah alat sebaiknya masuk ke dalam strategi otomatisasi pengujian yang lebih luas, berdampingan dengan exploratory testing, untuk continuous testing. Kemampuan ini melindungi cakupan pengujian antarmuka pengguna dari perubahan UI. Unit test dan pengujian API tidak menggunakan locator layar, sehingga tidak memerlukan healing sama sekali.

Healing tidak membantu untuk sebagian besar alasan lain mengapa pengujian gagal. BugBug menyatakan bahwa healing hampir secara eksklusif berlaku untuk locator, bukan untuk assertion, nilai yang diharapkan, alur pengujian, atau aturan bisnis. Healing juga tidak menyelesaikan masalah waktu tunggu (timing) atau arsitektur pengujian yang buruk. Jika masalah Anda adalah waktu tunggu yang tidak stabil atau data yang digunakan bersama, perlakukan flaky test sebagai topik tersendiri terlebih dahulu, karena healing tidak akan menyembuhkannya. Artikel yang sama menyebutkan bahwa healing kesulitan pada sistem berbasis peran, dasbor dinamis, transaksi multi-langkah, dan layar dengan banyak kondisi, serta bahwa semakin banyak konteks yang dibutuhkan untuk mengidentifikasi sebuah elemen, semakin sulit healing bekerja.

Locator yang baik dan ID pengujian yang stabil juga mencegah banyak kerusakan sebelum healing diperlukan. Praktik terbaik Playwright menyarankan locator yang mencerminkan apa yang dilihat pengguna, seperti peran dan teks, alih-alih jalur CSS atau XPath yang rapuh. Saran ini juga berguna dalam rangkaian pengujian Selenium.

Otomatisasi pengujian self-healing dan risiko regresi yang tersembunyi

Risiko yang paling penting sebenarnya sederhana untuk dinyatakan. Sebuah alat self-healing yang beradaptasi dapat beradaptasi terhadap sebuah cacat.

Panduan T-Plan tentang otomatisasi pengujian self-healing menyebutnya sebagai regresi yang tersembunyi (masked regression): sebuah framework dapat secara otomatis menyesuaikan diri dengan elemen yang berubah padahal elemen tersebut sebenarnya merepresentasikan cacat, sehingga pengujian lolos meskipun pengalaman pengguna menurun. Panduan ini menambahkan bahwa kondisi tersebut menciptakan rasa aman yang semu dan mengurangi kepercayaan terhadap otomatisasi. Panduan ini juga mencatat bahwa sistem self-healing dapat memilih elemen pengganti yang salah, bahwa semakin agresif healing dilakukan, semakin tinggi risiko pencocokan yang keliru, dan bahwa sebagian kegagalan sebaiknya tetap terlihat.

Bayangkan tombol Save di aplikasi yang diuji diganti dengan tombol Delete di posisi yang sama setelah sebuah penggabungan (merge) yang keliru. Pengujian yang mencari "tombol di footer formulir" dapat melakukan healing ke tombol yang baru, mengkliknya, lalu terus berjalan. Rangkaian pengujian tetap hijau, dan bug tersebut ikut dirilis.

Inilah alasan mengapa tingkat kelulusan yang naik belum tentu kabar baik. Jika tingkat kelulusan Anda melonjak setelah rilis UI tanpa perubahan pengujian yang sepadan, periksa log penyembuhan sebelum Anda merayakannya.

Pagar pengaman agar penggunaannya aman

Panduan dari T-Plan dan BugBug memberikan saran yang serupa. Saran ini berlaku baik Anda menerapkan penyembuhan otomatis sendiri maupun membeli alat penyembuhan otomatis.

  1. Catat setiap penyembuhan. Rekam locator lama, locator baru, tingkat keyakinan kecocokan, dan perubahan yang dilakukan alat pada halaman.
  2. Tinjau sesuai jadwal. Jangan biarkan adaptasi diam-diam berlangsung tanpa batas. Periksa log penyembuhan setelah setiap rilis, lalu setujui atau tolak setiap entri.
  3. Gunakan mode saran jika memungkinkan. Biarkan alat mengusulkan perbaikan dan pastikan seseorang menyetujuinya.
  4. Jangan pernah biarkan alat mengubah asersi. Penyembuhan dapat mengubah cara elemen ditemukan. Penyembuhan tidak boleh mengubah apa yang diharapkan pengujian, karena itulah tujuan pengujian.
  5. Tulis kembali perbaikan ke skrip. Karena penyembuhan hanya memperbaiki jalannya eksekusi, perbarui skrip dengan locator yang lebih baik.
  6. Batasi cakupannya. Tidak setiap elemen perlu disembuhkan secara otomatis. Alur kritis seperti pembayaran mungkin memerlukan pemeriksaan yang lebih ketat, misalnya pengujian visual yang memeriksa tampilan halaman.
  7. Pantau tren. Kenaikan tingkat kelulusan yang mendadak perlu dijelaskan, karena otomatisasi penyembuhan mandiri dapat membuat rangkaian pengujian tampak lebih sehat daripada kondisi sebenarnya.

Contoh: refaktor checkout, dengan dan tanpa penyembuhan

Angka-angka dalam contoh ini bersifat rekaan.

Sebuah tim memiliki 400 pengujian otomatis yang berjalan di browser. Refaktor front-end mengganti nama ID di seluruh halaman checkout. Tanpa penyembuhan, 60 pengujian gagal karena locator, dan setiap kegagalan perlu diperiksa. Seorang engineer membutuhkan sekitar dua hari untuk memperbaikinya, dan selama itu tim tidak memiliki hasil regresi yang andal.

Dengan penyembuhan diaktifkan, alat memperbaiki locator selama eksekusi pengujian sehingga setiap pengujian dapat berlanjut, dan 55 dari 60 pengujian tersebut lolos dengan locator yang telah disembuhkan. QA lead melihat setiap penyembuhan dalam laporan. Lima pengujian tetap gagal karena elemennya memang sengaja dihapus. Engineer menghabiskan setengah hari untuk kelima pengujian itu dan satu jam tambahan untuk membaca log penyembuhan.

Dalam log, dua penyembuhan tampak keliru. Pada pengujian untuk mengedit alamat, alat mengklik "Remove address" padahal pengujian menginginkan "Save address". Pengujian tersebut hanya memeriksa bahwa halaman masih termuat, sehingga lolos. Engineer memperbaiki kedua locator dan menambahkan asersi yang lebih kuat, yaitu memastikan alamat yang disimpan muncul dalam daftar.

Hasilnya: sekitar dua hari kerja perbaikan menyusut menjadi kira-kira satu hari. Penghematannya nyata, tetapi hanya ada karena seseorang membaca log. Tanpa tinjauan itu, dua pengujian akan tetap hijau sambil menguji hal yang salah.

Kesalahan umum

  • Menganggap penyembuhan otomatis sebagai pengganti locator yang baik. Locator berbasis role, teks, atau test ID yang stabil mencegah kerusakan dan tidak membutuhkan biaya.
  • Membiarkannya berjalan diam-diam. Jika tidak ada yang membaca log, penyembuhan yang keliru akan menumpuk tanpa terlihat.
  • Berharap alat ini memperbaiki pengujian yang tidak stabil. Masalah waktu dan data pengujian yang tidak stabil memerlukan perbaikan yang berbeda.
  • Menggunakannya pada pemeriksaan kritis tanpa pengamanan tambahan. Tambahkan pengujian regresi visual atau pemeriksaan data pada alur pembayaran dan izin.
  • Percaya pada angka vendor tentang pengurangan upaya pemeliharaan pengujian tanpa pilot. Ukur dampak sebenarnya pada rangkaian pengujian Anda sendiri sebelum berkomitmen.

Bagaimana perangkat lunak dapat membantu

Banyak framework otomatisasi pengujian, platform cloud, dan alat otomatisasi lainnya kini menawarkan penyembuhan, dalam bentuk yang berbeda-beda: locator cadangan sederhana, penilaian kemiripan, dan pemilihan elemen berbasis AI. Bandingkan alat-alat tersebut berdasarkan poin di atas, bukan berdasarkan labelnya. Tanyakan apakah platform penyembuhan mandiri menampilkan setiap penyembuhan, memungkinkan Anda menyetujuinya, dan mengekspornya sebagai perubahan skrip. Rangkaian Selenium atau Playwright biasa dengan locator yang dipilih dengan baik serta kebiasaan meninjau secara singkat adalah alternatif yang sah untuk alat penyembuhan mana pun. Jalankan pilot pada satu area yang sering tidak stabil dan bandingkan waktu pemeliharaannya sebelum Anda memutuskan. Alat yang dibangun di atas agen AI, yang sering disebut agentic AI, dan bekerja berdasarkan langkah-langkah dalam bahasa sehari-hari, menimbulkan pertanyaan yang sama tentang tinjauan.

Langkah berikutnya

Pilih satu bagian dari rangkaian end-to-end testing Anda yang sering rusak, aktifkan penyembuhan di sana untuk satu rilis, dan tinjau setiap penyembuhan secara manual. Setelah itu, tentukan apakah otomatisasi pengujian dengan penyembuhan mandiri layak mendapat peran yang lebih luas dalam rangkaian Anda, berdasarkan berapa banyak penyembuhan yang tepat.

Entities in this article

End-to-end testing AI agent Generative AI

Related articles

RSS