M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Bukti pengujian untuk audit: tangkapan layar, log, dan catatan lulus/gagal

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Bukti pengujian otomatis untuk audit: apa yang harus dicatat oleh QA lead, cara membuat tangkapan layar, log, dan catatan lulus/gagal tetap dapat ditinjau, dan cara menjawab auditor.

Automatically translated with AI from the original post. Read the English original

Bukti pengujian otomatis untuk audit adalah kumpulan catatan yang membuktikan bahwa suatu pengujian telah dijalankan, memperlihatkan apa yang diperiksa, dan menyatakan apa yang terjadi, dalam bentuk yang dapat ditinjau oleh orang yang tidak terlibat, bahkan beberapa bulan kemudian. Panduan ini ditujukan bagi QA lead yang timnya diminta membuktikan hasil pengujian selama tinjauan kepatuhan atau validasi. Anda akan melihat apa yang dicari auditor, bagian eksekusi pengujian mana yang layak disimpan, seberapa detail pencatatannya, dan cara mengorganisasikannya. Sebuah contoh kerja dengan angka fiktif menunjukkan sebuah tim yang berpindah dari kepanikan menjadi jawaban dalam lima menit.

Poin Penting

  • Auditor perlu melihat dari catatan saja apa yang diuji, apa yang diharapkan, apa yang terjadi, dan siapa atau apa yang menjalankan pengujian, sehingga catatan lulus atau gagal saja jarang cukup.
  • Bukti yang berguna memiliki lima bagian: tangkapan layar atau rekaman, log eksekusi, lampiran seperti data uji, metadata eksekusi, dan tautan dari kegagalan ke defect.
  • Tangkapan layar tidak diwajibkan secara hukum, dan log sistem dapat berfungsi sebagai bukti jika log tersebut dapat dipercaya dan alat otomatisasi pengujian itu sendiri telah divalidasi.
  • Sesuaikan kedalaman bukti dengan risiko: simpan catatan lengkap untuk fungsi berisiko tinggi dan catatan yang lebih ringkas untuk fungsi berisiko rendah.
  • Hubungkan setiap pengujian dengan persyaratan dan ukur seberapa cepat Anda dapat mengumpulkan bukti lengkap untuk satu persyaratan.

Apa yang sebenarnya dicari auditor

Auditor tidak membutuhkan alat pengujian Anda. Auditor ingin menilai apakah produk Anda melakukan apa yang seharusnya dan apakah catatan Anda sendiri membuktikannya. Artikel Johner Institute tentang objective evidence, yang ditulis untuk mutu perangkat medis, menyampaikannya begini: dokumentasi harus cukup rinci agar orang yang tidak terlibat dapat memahami apa yang dilakukan dan mengapa persyaratan terpenuhi.

Artikel yang sama menjelaskan empat tingkat detail dalam catatan pengujian, mulai dari sekadar "lulus" atau "tidak lulus" hingga video lengkap. Tingkat pertama dinilai tidak memadai, tingkat kedua memberikan keterlacakan yang terbatas, dan mulai dari tingkat ketiga, yaitu tangkapan layar, peninjau seharusnya sudah memiliki cukup bahan untuk dikaji. Artikel tersebut juga menyatakan bahwa catatan lulus atau gagal saja tidak lazim diterima.

Bidang Anda mungkin memiliki aturannya sendiri, tetapi hampir di setiap kerangka kerja atau standar, pertanyaan yang sama selalu muncul:

  • Apa yang diuji, dan terhadap persyaratan apa?
  • Apa yang Anda harapkan terjadi?
  • Apa yang terjadi, dan siapa atau apa yang menjalankan pengujian?
  • Kapan dan di lingkungan mana hal itu terjadi?
  • Jika gagal, apa yang Anda lakukan untuk mengatasinya?

Bukti audit yang menjawab lima pertanyaan ini tanpa perlu percakapan lanjutan adalah gambaran berkas yang baik. Anggap ini bagian dari kesiapan audit untuk tim pengujian Anda, sehingga Anda tetap siap audit sepanjang tahun, bukan hanya di minggu-minggu sebelum tinjauan.

Bukti pengujian otomatis untuk audit: apa yang harus dicatat

Panduan TestCollab tentang strategi bukti pengujian menyebutkan lima jenis bukti. Daftar ini cocok dijadikan daftar periksa untuk dokumentasi apa pun:

  1. Tangkapan layar dan rekaman. Bukti visual kondisi layar, pesan kesalahan, dan kegagalan, yang paling membantu dalam end-to-end testing berbasis browser.
  2. Log eksekusi. Catatan langkah demi langkah tentang apa yang lolos, apa yang gagal, dan alasannya.
  3. Lampiran. Data uji, snapshot konfigurasi, respons API, atau laporan yang diekspor.
  4. Metadata eksekusi. Siapa yang memulai eksekusi, kapan, di lingkungan mana, dan dengan konfigurasi apa.
  5. Tautan defek. Keterkaitan antara setiap pengujian yang gagal dan tiket bug-nya.

Mengotomatisasi pengumpulan bukti adalah langkah berikutnya yang wajar, dan tim yang melakukannya tidak lagi bergantung pada ingatan. Sebuah alat dapat melampirkan tangkapan layar saat terjadi kegagalan dan mengirimkan hasil beserta lampirannya ke sistem manajemen pengujian. Bukti otomatis seperti ini tidak membutuhkan siapa pun untuk mengingat apa pun. Panduan tersebut menambahkan poin yang berguna: bukti yang diambil selama pengujian lebih akurat daripada bukti yang disusun ulang kemudian. Pengambilan bukti yang baik, dengan catatan yang disimpan di samping hasil, lebih unggul daripada spreadsheet yang diisi seseorang menjelang audit.

Tidak setiap pengujian memerlukan setiap artefak. Panduan tersebut menyarankan bahwa smoke test mungkin hanya memerlukan status, sementara acceptance test mungkin memerlukan tangkapan layar setiap layar kritis, dan regression test mungkin memerlukan catatan eksekusi serta detail lingkungan. Tuliskan aturan ini sekali, per jenis pengujian, agar proses audit tidak bergantung pada tebakan.

Tangkapan layar, log, atau video: seberapa banyak yang cukup

Johner menyampaikan tiga poin yang dapat menghemat waktu.

  • Tangkapan layar bukan persyaratan hukum. Tangkapan layar hanyalah salah satu cara untuk menunjukkan apa yang terjadi, misalnya bahwa peringatan tertentu muncul.
  • Log dapat berfungsi sebagai bukti. Syaratnya adalah keluaran layar dan entri log sesuai, hasil dievaluasi terhadap persyaratan, alat otomatisasi pengujian telah divalidasi, dan catatan memenuhi aturan yang berlaku, seperti 21 CFR Part 11 untuk catatan elektronik di Amerika Serikat.
  • Video memiliki biaya. Video menunjukkan eksekusi tetapi tidak mengevaluasi hasil, butuh waktu untuk ditinjau, memakan banyak ruang penyimpanan, dan sulit digunakan untuk regression testing.

Draf panduan FDA tentang computer software assurance, sebagaimana dijelaskan dalam artikel Jama Software, searah dengan pandangan ini. Menurut artikel tersebut, tangkapan layar tidak diwajibkan, dan log sistem, jejak audit, serta data elektronik lainnya dapat berfungsi sebagai catatan. Catatan sebaiknya menunjukkan penggunaan yang dimaksud, penentuan risiko, aktivitas assurance yang dilakukan, masalah yang ditemukan, dan kesimpulan apakah hasilnya dapat diterima. Artikel tersebut juga menjelaskan pendekatan berbasis risiko: scripted testing untuk fungsi berisiko tinggi dan unscripted testing untuk fungsi berisiko lebih rendah. Periksa versi panduan mana yang berlaku bagi Anda, karena artikel tersebut membahas draf.

Aturan praktisnya adalah menyesuaikan kedalaman catatan dengan risiko. Simpan catatan lengkap, dengan langkah, hasil yang diharapkan, tangkapan layar, dan log, di tempat kegagalan dapat membahayakan orang, keuangan, atau kepatuhan.

Johner juga menyebutkan test robot yang mensimulasikan tindakan pengguna dan merekam reaksinya, dengan AI yang mungkin membantu evaluasi. Jika Anda menggunakan AI untuk menilai hasil, perlakukan keluaran AI sebagai draf, tetap tempatkan seseorang yang bertanggung jawab atas keputusan akhir, dan validasi fitur AI seperti bagian lain dari alat tersebut. Keputusan AI tanpa catatan penalarannya merupakan bukti yang lemah, dan pemeriksaan berbasis AI memerlukan catatan yang sama seperti pemeriksaan lainnya. Anda juga dapat mengotomatisasi pengambilan catatan tersebut.

Buat catatan yang tepercaya dan mudah ditemukan

Pengumpulan bukti secara manual berarti pekerjaan manual, dan pekerjaan manual membuka peluang kesalahan manusia, terutama saat musim audit ketika tim melampirkan bukti secara manual. Bukti yang tidak dapat ditemukan, atau yang mungkin diubah oleh seseorang, adalah bukti yang lemah. Empat kebiasaan berikut membantu.

  1. Kaitkan setiap pengujian dengan persyaratan. TestCollab merekomendasikan untuk menautkan setiap pengujian ke persyaratan yang divalidasinya, sehingga bukti menunjukkan pengujian mana yang mencakup persyaratan mana dan dengan hasil apa. Traceability matrix dapat membuat tautan ini secara otomatis.
  2. Simpan jejak audit dari setiap eksekusi pengujian. Simpan riwayatnya, sehingga peninjau dapat melihat setiap eksekusi sebuah pengujian, bukan hanya hasil hijau yang terakhir. Eksekusi yang gagal, lalu diperbaiki dan diulang, termasuk dalam riwayat.
  3. Kendalikan siapa yang boleh mengubah apa. Batasi hak edit hanya pada hasil dan lampiran, dan catat siapa yang mengubah sebuah pengujian atau hasil yang diharapkannya. Tanyakan kepada tim kualitas Anda apakah Anda memerlukan tanda tangan formal.
  4. Tambahkan gerbang tinjauan. TestCollab menyarankan status kustom seperti "Needs Evidence Review" yang mencegah sebuah pengujian ditandai selesai sebelum artefak yang diperlukan dilampirkan.

Panduan yang sama menawarkan tiga ukuran yang dapat Anda pantau:

  • Cakupan bukti: proporsi eksekusi pengujian yang memiliki artefak yang diperlukan. Contohnya, 60 persen dibandingkan dengan kebijakan yang mewajibkan tangkapan layar menunjukkan adanya masalah pada proses.
  • Waktu hingga bukti tersedia: seberapa cepat setelah sebuah eksekusi, artefak dilampirkan.
  • Kecepatan pengambilan: apakah Anda dapat menarik bukti lengkap untuk setiap persyaratan dalam waktu kurang dari lima menit, yang merupakan standar yang disarankan panduan tersebut.

Perlu diingat bahwa panduan ini tidak membahas berapa lama catatan harus disimpan atau cara mencegah manipulasi. Jawabannya berasal dari regulator Anda, kontrak Anda, dan kebijakan Anda sendiri. Jika perusahaan Anda juga bekerja di bawah kerangka kepatuhan seperti SOC 2, tanyakan kepada pimpinan kepatuhan Anda apakah catatan yang sama dapat memenuhi keduanya, lalu hubungkan alur kerja pengujian ke pipeline Anda melalui integrasi, sehingga catatan tersampaikan tanpa penyalinan manual.

Tugas bukti mana yang perlu diotomatisasi, dan mana yang memerlukan manusia

Otomatisasi bukti paling efektif untuk langkah-langkah yang berulang: pengumpulan data dari eksekusi pengujian, melampirkan log pengujian dan tangkapan layar, serta menautkan setiap hasil ke persyaratannya. Menurut kami, hal ini menghemat Anda dari pekerjaan rutin mengumpulkan bukti secara manual sebelum setiap putaran persiapan audit. Meski demikian, seseorang tetap harus meninjau bukti pendukung, karena hanya manusia yang dapat menilai apakah bukti tersebut benar-benar mendukung kontrol atau persyaratan audit tertentu. Simpan skrip pengujian, log pengujian, dan hasil dari eksekusi pengujian dalam satu penyimpanan yang berfungsi sebagai sumber kebenaran, dan gunakan bukti kepatuhan yang sama untuk setiap kerangka kerja yang memintanya, jika tim kualitas Anda setuju.

Contoh: dari kepanikan menjadi lima menit

Angka-angka dalam contoh ini bersifat fiktif.

Seorang QA lead mendukung aplikasi penagihan yang berada di bawah tinjauan kontrol internal. Tim menjalankan 60 pengujian otomatis sebelum setiap rilis. Sebelum tinjauan, peninjau memilih lima persyaratan dan meminta bukti pengujian.

Upaya pertama sangat menyulitkan. Hasil pengujian berada di output pipeline yang kedaluwarsa setelah 30 hari. Tangkapan layar hanya ada untuk 27 dari 60 eksekusi, yang berarti cakupan bukti 45 persen. Tidak ada yang dapat memastikan pengujian mana yang mencakup nota kredit. Tim memerlukan dua hari untuk menjawab, dan jawabannya masih berlubang.

Setelah tinjauan, lead membuat empat perubahan. Setiap pengujian mendapat ID persyaratan. Pipeline melampirkan tangkapan layar dan catatan eksekusi ke setiap langkah yang gagal, serta tangkapan layar akhir ke setiap pengujian kritis. Hasil, beserta riwayatnya, dipindahkan ke penyimpanan yang disimpan selama seluruh periode tinjauan, dan status tinjauan memblokir penyelesaian hingga artefak dilampirkan. Lead juga menulis aturan satu halaman untuk setiap jenis pengujian.

Pada tinjauan berikutnya, peninjau kembali menanyakan lima persyaratan. Tim mengekspor riwayat untuk masing-masing persyaratan dalam waktu sekitar lima menit per persyaratan. Cakupan bukti kini 58 dari 60 eksekusi, dan dua pengecualian adalah smoke test yang terdokumentasi dengan status saja, sesuai dengan yang diizinkan aturan.

Kesalahan umum

  • Hanya menyimpan lulus atau gagal. Peninjau tidak dapat mengetahui apa yang sebenarnya diperiksa.
  • Mengambil bukti setelah kejadian. Catatan yang disusun ulang kurang akurat dan terlihat lebih lemah.
  • Selalu merekam segalanya. Video penuh untuk setiap pengujian memakan penyimpanan dan waktu tinjauan, sementara sedikit sekali yang benar-benar dilihat.
  • Tidak ada tautan ke persyaratan. Tanpa keterlacakan, Anda tidak dapat menunjukkan apa yang dibuktikan sebuah pengujian.
  • Membuang riwayat. Peninjau mungkin menanyakan eksekusi yang gagal, bukan hanya hasil akhir.
  • Mempercayai alat pengujian tanpa syarat. Jika catatannya menjadi bukti Anda, alat yang menghasilkannya mungkin juga perlu divalidasi.

Bagaimana perangkat lunak dapat membantu

Mulailah dengan alat manajemen pengujian dan sistem CI Anda. Keduanya dapat menyimpan hasil, melampirkan artefak, dan menjaga riwayat. Beberapa alat dan platform pengujian juga menyediakan fitur bukti. Genta by Cognillo adalah salah satu contohnya. Menurut vendor, alat ini melaporkan hasil lulus atau gagal beserta tangkapan layar, log, dan artefak kegagalan, serta menyediakan kontrol akses berbasis peran, log audit, dan ekspor dasbor ke Excel, CSV, atau PDF. Ini adalah pernyataan vendor dan tidak diuji oleh M365.FM. Bandingkan alat-alat tersebut dalam uji coba, dan periksa apakah catatannya memenuhi aturan kepatuhan Anda sendiri.

Pengungkapan: Cognillo mensponsori M365.FM.

Langkah berikutnya

Pilih satu fitur yang diatur regulasi dan catat lima fakta yang perlu dilihat auditor untuk pengujiannya. Kemudian periksa eksekusi pengujian terbaru terhadap daftar tersebut, dan gunakan celah yang ditemukan untuk menetapkan aturan Anda tentang bukti pengujian otomatis untuk audit.

Ikuti podcastSpotify

Entities in this article

End-to-end testing Audit readiness Compliance Genta Automation

Related articles

RSS