Pengujian unit, integrasi, dan end-to-end: di mana AI paling membantu
By Mirko Peters · · Updated
Pengujian unit vs integrasi vs end-to-end: apa yang diperiksa masing-masing, berapa banyak yang perlu ditulis, dan di mana AI paling membantu, mulai dari menyusun pengujian unit hingga meninjau alur browser.
Automatically translated with AI from the original post. Read the English original
Pengujian unit vs integrasi vs end-to-end adalah pertanyaan di balik setiap strategi pengujian perangkat lunak: setiap tingkat memeriksa hal yang berbeda, memakan biaya yang berbeda, dan memberikan tingkat keyakinan yang berbeda. Panduan ini ditujukan bagi QA lead yang diminta menentukan di mana AI sebaiknya digunakan dalam pengujian perangkat lunak. Anda akan melihat apa yang diperiksa setiap tingkat, berapa banyak pengujian dari setiap jenis yang dimiliki rangkaian pengujian yang sehat, di mana AI paling membantu, dan di mana AI justru menambah risiko. Sebuah contoh kerja dengan angka fiktif menunjukkan bagaimana satu tim memutuskan di mana mengalokasikan usahanya.
Poin Penting
- Pengujian unit memeriksa satu bagian kode, pengujian integrasi memeriksa keterhubungan dengan sesuatu di luar aplikasi, dan pengujian end-to-end menjalankan sistem yang sudah di-deploy melalui antarmukanya.
- Piramida pengujian menyarankan untuk menulis banyak pengujian unit yang kecil dan cepat, beberapa pengujian dengan cakupan lebih luas, dan sangat sedikit pengujian tingkat tinggi, karena tingkat yang lebih tinggi lebih lambat dan membutuhkan lebih banyak perawatan.
- AI paling berguna ketika keluarannya kecil dan mudah diperiksa, misalnya saat menyusun pengujian unit dan API, serta ketika seseorang dapat meninjau setiap pengujian yang dihasilkan.
- Pengujian yang dihasilkan AI dapat membuat cakupan tampak tinggi tanpa memvalidasi perilaku, misalnya pengujian yang menjalankan kode tetapi memiliki asersi yang lemah atau tidak ada sama sekali.
- Perlakukan keluaran AI sebagai draf di setiap tingkat, dan serahkan penilaian manusia untuk alur yang ambigu, pemeriksaan visual, dan tinjauan aksesibilitas.
Pengujian unit vs integrasi vs end-to-end: apa yang diperiksa masing-masing
Artikel The Practical Test Pyramid karya Martin Fowler's memberikan definisi yang jelas.
- Pengujian unit memastikan bahwa unit tertentu dari basis kode Anda, yaitu subjek yang diuji, bekerja sebagaimana mestinya. Cakupannya paling sempit dibandingkan jenis pengujian lain. Ini adalah tingkat pengujian unit yang paling sering ditulis oleh pengembang.
- Pengujian integrasi memeriksa integrasi aplikasi Anda dengan bagian-bagian yang berada di luarnya, seperti basis data, sistem berkas, atau layanan terpisah. Fowler lebih menyukai pengujian yang sempit, yang menguji satu titik integrasi eksternal dalam satu waktu. Inilah tugas dari pengujian integrasi.
- Pengujian end-to-end menguji aplikasi yang sudah di-deploy melalui antarmuka penggunanya dan mencakup seluruh sistem terintegrasi. Fowler menyebutnya pengujian tumpukan lebar (broad stack tests). Inilah pengujian end-to-end.
Perbedaan utama antara pengujian unit dan pengujian integrasi terletak pada cakupannya: satu bagian kode dibandingkan dengan keterhubungan antarbagian. Pengujian fungsional dan pengujian sistem juga memeriksa perangkat lunak dari sisi luar, dan pengujian e2e adalah bentuk yang dijalankan melalui browser, jadi sepakati dulu istilah yang Anda gunakan.
Pengembang biasanya menulis pengujian unit dan menjalankannya pada setiap commit. Untuk mengingat perbedaannya, lihat pertanyaan yang dijawab setiap tingkat: pengujian unit menanyakan apakah fungsi ini benar. Pengujian integrasi menanyakan apakah kita berkomunikasi dengan sistem lain ini dengan benar. Pengujian end-to-end menanyakan apakah seorang pengguna dapat menyelesaikan perjalanan ini.
Jumlah masing-masing: piramida pengujian
Piramida pengujian adalah cara yang lazim untuk menggambarkan keseimbangan tersebut. Saran Fowler adalah menulis banyak unit test yang kecil dan cepat, sejumlah pengujian berbutir kasar, dan sangat sedikit pengujian tingkat tinggi. Ia menyatakannya sebagai sebuah aturan: semakin tinggi levelnya, semakin sedikit pengujian yang sebaiknya Anda miliki.
Alasannya adalah biaya. Menurut artikel tersebut, unit testing berjalan sangat cepat, integration testing cenderung jauh lebih lambat karena melibatkan bagian eksternal yang nyata, dan end-to-end testing berjalan cukup lambat. End-to-end testing juga membutuhkan banyak pemeliharaan dan terkenal tidak stabil.
Ketidakstabilan itu dapat diukur dalam skala besar. Sebuah tulisan di Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, melaporkan bahwa sekitar 1,5 persen dari eksekusi pengujiannya menghasilkan hasil yang tidak stabil, dan hampir 16 persen pengujiannya mengalami ketidakstabilan dalam bentuk tertentu.
Ketiga level tersebut berkontribusi pada regression testing, karena semuanya dijalankan kembali setelah setiap perubahan.
Fowler juga memperingatkan terhadap bentuk sebaliknya, yang ia sebut test ice-cream cone: banyak pengujian manual dan pengujian tingkat browser di bagian atas, dengan sedikit unit test di bagian bawah. Ia menggambarkannya sebagai mimpi buruk untuk dipelihara yang membutuhkan waktu terlalu lama untuk dijalankan. Jika rangkaian pengujian Anda menyerupai bentuk itu, menambahkan AI tidak akan memperbaiki bentuknya. Yang mungkin terjadi hanyalah lebih banyak pengujian lambat yang dihasilkan dengan lebih cepat.
Unit testing vs integration testing: kapan menggunakan setiap level
Perbandingan unit dan integration testing dari TestRail mencantumkan perbedaan praktis. Unit test cepat diimplementasikan dan cepat dieksekusi, dan biasanya ditangani oleh developer. Integration testing sering melibatkan QA engineer dan tester. Unit test menggunakan mock dan stub untuk menghindari sistem eksternal, sedangkan integration testing berfokus pada interaksi nyata tetapi tetap dapat menggunakan mock ketika layanan eksternal tidak tersedia, tidak andal, atau mahal.
Keunggulan unit testing adalah umpan balik yang cepat, deteksi bug sejak dini, dan kode yang lebih modular. Kelemahannya, rangkaian unit test tidak menunjukkan apakah bagian-bagian sistem bekerja bersama, dan inilah yang ditambahkan oleh integration testing. TestRail menyarankan unit test untuk logika yang terisolasi di awal pengembangan, dan integration test untuk alur kerja yang melintasi modul, basis data, atau layanan pihak ketiga. TestRail menjelaskan dua cara untuk menjalankan yang terakhir: Big Bang, yaitu menguji semuanya bersama-sama setelah pengembangan dan lebih sulit di-debug, serta incremental, yaitu menguji kelompok kecil secara bertahap sehingga masalah lebih mudah ditemukan.
Fowler memberikan aturan untuk menentukan level: jika pengujian level yang lebih tinggi menemukan kesalahan dan tidak ada pengujian level yang lebih rendah yang gagal, tulislah pengujian level yang lebih rendah. Dorong pengujian selurus mungkin ke bawah piramida, dan hapus pengujian level tinggi yang menduplikasi apa yang sudah dicakup level yang lebih rendah. Strategi pengujian yang komprehensif menggunakan ketiga level, dengan setiap level yang lebih tinggi difokuskan pada hal-hal yang tidak dapat dicakup oleh level di bawahnya.
Ada dua pertanyaan terkait yang sering muncul. Fowler mencatat bahwa sebagian orang menyebut lapisan tengah sebagai integration test dan sebagian lain menyebutnya component test, dan bahwa menyepakati istilah lebih penting daripada namanya. Ia juga mengatakan bahwa acceptance test, yang memeriksa perangkat lunak dari sudut pandang pengguna, dapat berada di level mana pun, sehingga tidak bergantung pada piramida. Oleh karena itu, unit testing dan end-to-end testing adalah dua ujung dari satu skala, bukan dua aliran yang saling bersaing.
Pengujian-pengujian ini mudah diotomasi dalam pipeline. TestRail menyatakan bahwa unit test biasanya dijalankan lebih awal, sering kali segera setelah push atau pull request, dan integration test dijalankan belakangan, setelah aplikasi di-deploy ke lingkungan staging atau pengujian. Bersama-sama, keduanya membentuk quality gate.
Bagian AI yang paling membantu
Alat yang dibangun di atas generative AI berbeda-beda, tetapi sebuah pola muncul dalam panduan vendor. Artikel Parasoft tentang cara AI digunakan dalam pengujian perangkat lunak menyarankan tim untuk menghasilkan unit test dan API test selagi perubahan masih baru, serta menyebutkan bantuan AI dalam membuat API test, menyarankan assertion, dan menyusun skenario data. Artikel itu juga mencatat bahwa service virtualization, yang menyimulasikan dependensi yang lambat, mahal, atau tidak tersedia, mendukung integration testing.
Hal ini sejalan dengan piramida. Alasan-alasannya merupakan inferensi kami sendiri, bukan hasil pengukuran:
- Output kecil itu mudah ditinjau. Sebuah unit test yang dihasilkan hanya beberapa baris. Peninjau dapat membacanya, menjalankannya, dan memutuskan dalam satu menit apakah ia memeriksa hal yang benar.
- Umpan balik yang cepat mengungkap tes yang buruk. Unit test yang keliru akan gagal atau lolos dengan cepat, sehingga masalahnya ketahuan di hari yang sama.
- Input dan output yang jelas. Fungsi dan panggilan API memiliki input dan output yang terdefinisi, sehingga alat bantu memiliki sasaran yang tepat.
- Banyak kasus yang berulang. Nilai batas dan jalur error bersifat berulang dalam unit testing, sehingga draf dapat menghemat waktu mengetik.
Biarkan AI membuat draf, tetapi manusia yang bertanggung jawab: siapa pun yang menerima sebuah tes yang dihasilkan bertanggung jawab atas apa yang diperiksanya, sama seperti untuk tes yang ditulis manual.
Untuk integration testing, AI dapat membuat draf test case atau data uji serta mensimulasikan dependensi, tetapi manusia harus memutuskan apa kontrak dengan sistem lain, dan integration testing memverifikasi kontrak tersebut.
Pada level end-to-end testing, AI membantu dengan cara yang berbeda. Alat yang menjalankan langkah-langkah dalam bahasa sederhana di browser dapat menurunkan biaya penulisan journey test. Alat tersebut tidak mengubah biaya menjalankannya, dan tidak menghilangkan kebutuhan akan aturan lulus atau gagal yang jelas.
Di mana AI paling sedikit membantu, dan apa yang perlu diwaspadai
Artikel Parasoft lugas soal batasannya. Artikel itu menyatakan bahwa tinjauan manusia harus tetap dilakukan pada setiap perubahan yang dihasilkan AI, dan bahwa keluaran AI harus diperlakukan sebagai draf. Artikel itu juga menyebutkan bahwa jika digunakan secara keliru, AI dapat menggelembungkan coverage tanpa memvalidasi perilaku, dan memperingatkan tentang tes kosong yang menjalankan jalur kode tetapi memiliki assertion yang lemah atau tidak ada. Artikel ini mendaftarkan keluaran yang berubah-ubah antarjalankan dengan input yang sama sebagai tanda peringatan. Artikel ini menambahkan bahwa AI tidak dapat menyetujui perubahan yang kritis terhadap keselamatan atau menggantikan penilaian manusia pada alur yang ambigu, pemeriksaan visual, dan tinjauan aksesibilitas. Untuk data, artikel ini memperingatkan terhadap prompt yang berisi rahasia atau data yang diatur regulasi.
Strategi pengujian yang menggunakan AI memerlukan empat pemeriksaan:
- Coverage naik tetapi tidak menangkap apa pun. Periksa assertion, bukan hanya angka coverage.
- Tes yang meniru kode. Tes yang mengulang implementasi akan lolos bahkan ketika logikanya salah.
- Keluaran yang tidak stabil. Jika tes yang dihasilkan berubah antarjalankan, kunci versi yang sudah Anda tinjau.
- Data keluar dari lingkungan Anda. Jangan menempelkan rahasia, data pelanggan, atau data yang diatur regulasi ke dalam prompt.
Contoh: di mana satu tim menghabiskan usahanya
Angka-angka dalam contoh ini fiktif.
Sebuah tim memiliki 600 tes otomatis: 450 unit test, 110 integration test, dan 40 end-to-end test. Tes browser memakan 50 menit dari pipeline 60 menit, dan enam di antaranya gagal secara acak setiap minggu.
QA lead mengambil tiga langkah. Pertama, asisten AI membuat draf unit test untuk kode baru, dan seorang developer meninjau setiap draf. Pada bulan pertama, asisten tersebut membuat 120 tes. Peninjau menolak 30 di antaranya karena assertion-nya lemah, sehingga 90 tes masuk ke suite.
Kedua, AI membuat draf data uji untuk integration test, dan kontraknya tetap ditulis manual.
Ketiga, 40 end-to-end test tidak mendapat bantuan AI. Sang lead menghapus enam duplikat yang sudah dicakup oleh tes level lebih rendah yang lebih cepat, dan pipeline turun dari 60 menit menjadi 48 menit. Usaha AI diarahkan ke tempat peninjauan paling murah, dan lapisan yang lambat menjadi lebih kecil.
Kesalahan umum
- Menggunakan AI untuk menambah lebih banyak tes browser. Lapisan yang lambat dan rapuh ini bertambah besar, dan pipeline menjadi semakin lambat.
- Menerima tes yang dihasilkan tanpa membacanya. Assertion yang lemah memberi coverage tanpa rasa aman.
- Mengukur keberhasilan dari jumlah tes. Hitung sebagai gantinya cacat yang berhasil terdeteksi dan menit yang berhasil dihemat.
- Melewatkan integration testing. Unit test ditambah beberapa journey dapat melewatkan kontrak yang rusak antarsistem.
- Menempelkan data sensitif ke dalam prompt. Tetapkan kebijakan sebelum prompt pertama.
Bagaimana perangkat lunak dapat membantu
Kerangka pengujian dan sistem CI Anda yang sudah ada biasanya telah mencatat waktu jalan dan tingkat kegagalan. Mulailah dari sana, dan kelompokkan angka-angkanya per level. Alat code review membantu meninjau draf AI, karena peninjau dapat melihat tes yang dihasilkan berdampingan dengan kodenya. Gunakan alat coverage bersama pemeriksaan assertion, agar coverage tidak keliru dianggap sebagai kualitas. Tambahkan asisten AI ke satu level pengujian perangkat lunak terlebih dahulu, dan bandingkan waktu tinjauan, jumlah draf yang ditolak, dan cacat yang lolos sebelum Anda memperluas pilot.
Langkah berikutnya
Hitung tes Anda di setiap level pengujian, dan catat waktu jalan serta tingkat flaky setiap level. Kemudian pilih satu level untuk pilot AI dan tuliskan apa yang akan Anda ukur, sehingga perdebatan Anda berikutnya tentang unit vs integration vs end-to-end test dimulai dari data.