Cakupan pengujian untuk aplikasi bisnis: cara melacak apa yang benar-benar diuji
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Pelacakan cakupan pengujian fitur menunjukkan fitur mana dari aplikasi bisnis yang sudah memiliki pengujian dan mana yang belum. Buat matriks cakupan, baca celah-celahnya, dan pastikan matriks tersebut tetap mutakhir.
Automatically translated with AI from the original post. Read the English original
Pelacakan cakupan pengujian fitur menjawab satu pertanyaan sederhana untuk aplikasi bisnis: fitur mana yang memiliki pengujian, dan apa hasilnya saat pengujian terakhir dijalankan? Panduan ini ditujukan untuk QA lead yang memelihara pengujian untuk aplikasi line-of-business dan membutuhkan gambaran yang jelas untuk rapat rilis. Anda akan melihat bagaimana cakupan pengujian dalam pengujian perangkat lunak berbeda dari cakupan kode, cara mengukur cakupan pengujian dengan matriks cakupan, dan cara menjaganya tetap mutakhir. Contoh kerja dengan angka fiktif menunjukkan mengapa persentase fitur yang terpetakan yang tinggi tetap bisa menyembunyikan celah.
Poin Penting
- Cakupan pengujian mempertanyakan fitur, persyaratan, dan kasus penggunaan mana yang memiliki pengujian, sedangkan cakupan kode hanya mengukur seberapa banyak kode sumber yang dijalankan selama pengujian.
- Matriks cakupan memetakan setiap persyaratan atau fitur ke kasus uji yang memeriksanya, beserta prioritas, hasil, status, dan pemilik.
- Pengujian yang tertaut menunjukkan cakupan yang terdokumentasi, bukan validasi yang berhasil, jadi lacak hasil per build di samping tautannya.
- Mulailah dari daftar lengkap fitur, termasuk yang belum memiliki pengujian, karena matriks yang hanya dibangun dari pengujian yang ada tidak dapat menunjukkan apa yang tidak pernah diuji.
- Tinjau matriks saat perencanaan, setelah perubahan, dan sebelum keputusan rilis, serta simpan snapshot bertanggal sebagai bukti.
Apa arti cakupan pengujian, dan apa yang tidak
Artikel Perforce tentang cakupan pengujian versus cakupan kode memisahkan dua gagasan yang sering dicampuradukkan oleh tim.
- Cakupan pengujian berkaitan dengan fitur dan kasus penggunaan. Ini membantu Anda melihat apakah semua skenario yang diperlukan sudah dipertimbangkan, dan artikel tersebut menyebutnya sebagai indikator risiko yang baik. Penilaiannya dilakukan terhadap ukuran seperti spesifikasi, risiko, fungsionalitas, dan produk.
- Cakupan kode adalah pengukuran seberapa banyak kode sumber aplikasi yang dieksekusi selama pengujian, yang sering dinyatakan sebagai persentase dari baris kode. Ini menunjukkan kode mana yang sudah dan belum diuji.
Untuk aplikasi bisnis, seperti sistem pemesanan atau portal SDM, gagasan pertama biasanya lebih penting bagi orang-orang yang mengandalkan perangkat lunak tersebut. Seorang manajer bertanya apakah persetujuan faktur sudah diuji, bukan apakah baris 4.200 pernah dijalankan.
Artikel yang sama memperingatkan agar tidak membaca kedua angka tersebut terlalu longgar. Cakupan kode belum tentu sama dengan kualitas kode, dan cakupan pengujian tidak menjamin aplikasi bebas dari bug. Jika pengujiannya lemah, cakupannya juga lemah. Anggap cakupan sebagai peta tentang bagian mana yang sudah Anda periksa, bukan sebagai nilai.
Pelacakan cakupan pengujian fitur dalam empat langkah
Panduan TestRail tentang requirements traceability matrix menjelaskan sebuah metode yang dapat Anda ringkas menjadi empat langkah untuk pelacakan cakupan pengujian fitur.
- Tentukan lingkup. Putuskan rilis atau kumpulan fitur mana yang dicakup matriks, serta build dan lingkungan mana yang berlaku.
- Daftarkan setiap fitur. Kumpulkan daftar lengkap item dalam lingkup dari sumber yang otoritatif, lalu beri setiap item ID unik dan stabil. Panduan tersebut menekankan pentingnya mempertahankan daftar lengkap, termasuk item yang belum memiliki pengujian. Daftar yang hanya dibangun dari pengujian yang ada tidak dapat mengungkap apa yang tidak pernah tertaut.
- Petakan setiap item ke pengujiannya. Hubungkan setiap item dengan kasus uji, tinjauan, atau analisis yang mengevaluasinya, dan pastikan pemeriksaan tersebut mencakup kriteria penerimaan utamanya.
- Catat hasil dan tinjau. Catat hasil untuk build yang relevan, kaitkan cacat dengan hasil yang terdampak, sepakati apa yang dianggap terverifikasi, dan tinjau matriks untuk mencari pemetaan yang hilang serta kasus yang sudah usang.
Lakukan ini lebih dulu untuk alur yang paling penting, dan untuk setiap fitur baru begitu fitur tersebut masuk. Setiap tim QA memiliki alur kerjanya sendiri, jadi jaga langkahnya tetap ringan. Matriks kecil yang selalu mutakhir jauh lebih berharga daripada matriks lengkap yang tidak dipercaya siapa pun.
Ketika sebuah tim memilih untuk mengotomatisasi suatu pemeriksaan, gambarannya hanya sedikit berubah. Pengujian otomatis tetaplah satu kasus uji, dan cakupan otomatisasi berarti proporsi fitur yang dipetakan yang pengujiannya berjalan tanpa penguji. Hitung ini sebagai kolom terpisah di samping kasus manual, sehingga tim dapat melihat seberapa banyak yang sudah diotomatisasi dan seberapa banyak yang masih bergantung pada manusia. Metrik cakupan seperti ini membantu perencanaan, tetapi jumlah backlog fitur berisiko tinggi yang belum diuji adalah angka yang mendorong tindakan.
Apa yang dimasukkan ke dalam matriks cakupan
TestRail mencantumkan kolom-kolom yang dapat ditampung oleh matriks lengkap. Untuk tim QA kecil, kolom-kolom berikut sudah cukup:
- ID persyaratan atau fitur beserta deskripsi singkat.
- Prioritas atau risiko, agar Anda membaca celah dalam urutan yang tepat.
- ID kasus uji yang terhubung, yang dapat mencakup kasus manual dan kasus otomatis dari rangkaian pengujian end-to-end Anda.
- Hasil terbaru dan build, agar matriks menunjukkan apa yang terjadi dan kapan.
- Status, misalnya belum tercakup, tercakup, lulus, gagal, atau terblokir.
- Pemilik, yaitu orang yang bertanggung jawab atas baris tersebut.
PractiTest, dalam artikelnya tentang matriks keterlacakan persyaratan, menjelaskan keterlacakan dalam dua arah: dari fitur ke pengujiannya, dan dari pengujian kembali ke fitur yang didukungnya. Kedua arah ini membantu dengan cara yang berbeda. Arah pertama menunjukkan apa yang dimiliki sebuah fitur. Arah kedua menunjukkan mengapa sebuah pengujian ada, dan pengujian mana yang perlu diperiksa ketika sebuah persyaratan berubah.
Membaca matriks: celah, kedalaman, dan usia
Sebuah matriks hanya seberguna pertanyaan yang Anda ajukan kepadanya.
- Celah pemetaan. Fitur mana yang tidak memiliki pengujian terkait? TestRail mendefinisikan cakupan pemetaan sebagai proporsi persyaratan dalam lingkup yang dapat diuji dan memiliki setidaknya satu kasus uji terkait.
- Celah validasi. TestRail menegaskan bahwa pengujian yang terhubung hanya menunjukkan cakupan yang terdokumentasi, bukan validasi yang berhasil. Periksa hasil terakhir: apakah pengujian dijalankan, dan apakah lulus?
- Kedalaman. PractiTest memperingatkan bahwa sesuatu bisa tampak teruji sepenuhnya dalam persentase, tetapi belum tentu teruji dengan baik dari sisi kedalaman. Satu pengujian per fitur mungkin terlalu tipis, dan kombinasi antarpersyaratan bisa menjadi hal yang penting.
- Usia. Pengujian yang sudah berbulan-bulan tidak dijalankan hanya sedikit berkata tentang build hari ini. Tampilkan tanggal eksekusi terakhir.
- Yatim. Pengujian yang tidak terhubung ke apa pun mungkin menjaga suatu risiko yang tidak tercakup dalam daftar fitur Anda. TestRail menyarankan untuk meninjau pengujian yang tidak terhubung sebelum menghapusnya.
Daftar singkat berisi lima celah paling berisiko jauh lebih berguna dalam rapat rilis daripada tabel dengan dua ratus baris.
Di mana alat cakupan kode masih membantu
Catatan Martin Fowler tentang cakupan pengujian menyebut alat cakupan sebagai "alat yang berguna untuk menemukan bagian kode yang belum diuji" dan menyarankan agar alat cakupan dijalankan secara berkala untuk meninjau kode yang belum diuji. Ia juga menulis bahwa cakupan kurang berguna sebagai pernyataan numerik tentang seberapa baik pengujian Anda, karena angka cakupan yang tinggi terlalu mudah dicapai dengan pengujian berkualitas rendah. Ia akan curiga terhadap sesuatu yang mendekati 100 persen, dan ia menganggap cakupan di bawah sekitar setengah sebagai tanda masalah. Ia menambahkan bahwa cakupan paling berguna bagi orang yang menulis pengujian, karena membacanya membutuhkan penilaian teknis.
Bagi seorang QA lead, hal ini menyarankan pembagian pekerjaan. Menurut kami, developer membaca laporan coverage untuk unit test dan integration test mereka, sementara tim QA membaca feature matrix untuk meningkatkan test coverage pada area dengan risiko bisnis tertinggi, baik melalui manual testing maupun test automation. Tidak ada satu angka pun yang cukup memberi kepercayaan untuk rilis. Keduanya hanyalah peta dari upaya pengujian, bukan bukti kualitas produk.
Jaga agar tetap mutakhir
Matrix yang usang lebih buruk daripada tidak ada sama sekali, karena orang mempercayainya. TestRail merekomendasikan untuk meninjaunya saat perencanaan, setelah perubahan, dan sebelum keputusan rilis, serta menyimpan snapshot berpenanggal tanggal ketika Anda membutuhkan bukti di balik suatu keputusan. TestRail juga menyarankan untuk menunjuk seorang koordinator dan pemilik untuk permintaan perubahan, pembaruan test, dan keputusan verifikasi. PractiTest menambahkan bahwa matrix harus tetap dapat dilihat oleh semua pihak yang membutuhkannya, dan memperingatkan bahwa salinan spreadsheet yang dikirim lewat email menimbulkan kebingungan tentang versi mana yang berlaku.
Simpan satu versi bersama. Jika Anda menggunakan alat test management, biarkan alat tersebut memperbarui tautan dan hasil saat test dijalankan, sehingga matrix tidak bergantung pada ingatan seseorang. Hal ini juga mendukung regression testing Anda, karena tautan menunjukkan test regresi mana yang perlu dijalankan ulang setelah sebuah perubahan.
Contoh: 40 fitur, tiga angka berbeda
Angka-angka berikut bersifat fiktif.
Seorang QA lead melacak 40 fitur pada aplikasi manajemen pesanan. Matrix menampilkan tiga gambaran yang berbeda.
- Dipetakan: 31 dari 40 fitur memiliki setidaknya satu test yang tertaut. Itu berarti mapping coverage 77,5 persen.
- Terverifikasi: dari 31 fitur tersebut, 22 lolos pada build terbaru. Lima gagal atau terblokir, dan empat belum dijalankan selama 90 hari. Verified coverage adalah 22 dari 40, atau 55 persen.
- Celah: 9 fitur tidak memiliki test sama sekali. Tiga di antaranya berisiko tinggi: refund, price override, dan perubahan peran pengguna.
Sang lead menyampaikan angka kedua, bukan yang pertama, kepada product owner. Sprint berikutnya tim menambahkan test untuk tiga celah berisiko tinggi, memperbaiki lima test yang gagal atau terblokir, dan menjalankan ulang empat test yang usang. Persentase di dashboard naik, begitu pula kepercayaan di baliknya. Matrix yang hanya menampilkan 77,5 persen akan menyembunyikan masalahnya.
Kesalahan umum
- Menganggap code coverage sebagai feature coverage. Baris kode yang dieksekusi tidak menjelaskan fungsi bisnis mana yang belum diuji.
- Membangun matrix hanya dari test yang sudah ada. Anda tidak akan pernah melihat apa yang belum memiliki test.
- Menganggap tautan sebagai bukti. Tampilkan hasil terbaru per build.
- Mengejar persentase. Target 100 persen mendorong lahirnya test tipis yang hanya menyentuh setiap fitur sekilas.
- Membiarkan matrix menjadi usang. Tinjau saat perencanaan, setelah perubahan, dan sebelum rilis.
- Menyimpan salinan di email. Banyak versi memicu perdebatan tentang mana yang benar.
Bagaimana perangkat lunak dapat membantu
Spreadsheet adalah awal yang wajar. Alat test management dapat menautkan test ke fitur dan memperbarui hasil secara otomatis, sehingga menghemat perawatan manual. Genta by Cognillo adalah salah satu contohnya. Menurut vendor, alat ini mencakup manajemen test case dan test suite dengan pelacakan feature coverage, eksekusi terjadwal, serta dashboard yang dapat diekspor ke Excel, CSV, atau PDF. Ini adalah pernyataan vendor dan belum diuji oleh M365.FM. Bandingkan dengan opsi lain, dan periksa bagaimana setiap alat menautkan hasil ke requirement sebelum Anda memutuskan.
Pengungkapan: Cognillo adalah sponsor M365.FM.
Langkah berikutnya
Ambil alur bisnis paling penting Anda, daftarkan sepuluh fiturnya, dan petakan setiap fitur ke test-nya dalam matrix sederhana beserta hasil dan tanggal terakhir. Lalu bawa tiga celah terbesar ke rapat rilis berikutnya, dan sepakati siapa yang bertanggung jawab atas pelacakan feature test coverage sejak saat itu.