Development, staging, production: menjalankan pengujian otomatis di setiap lingkungan dengan aman
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Cara menjalankan pengujian otomatis di staging dan produksi dengan aman: apa yang dijalankan di mana, cara mengatur base URL dan secret, serta cara melindungi data pelanggan yang sebenarnya.
Automatically translated with AI from the original post. Read the English original
Untuk menjalankan pengujian otomatis di staging dan produksi dengan aman, berikan setiap lingkungan tugas yang berbeda: suite regresi lengkap di staging, dan hanya sekumpulan kecil yang bersifat hanya-baca di produksi. Panduan ini ditujukan bagi QA lead yang diminta menguji lebih sering tanpa membahayakan pelanggan atau data sungguhan. Anda akan melihat fungsi setiap lingkungan, apa yang dijalankan di mana, cara mengonfigurasi URL dan secret, cara memperlakukan data uji, serta pagar pengaman yang perlu dipasang. Sebuah contoh kerja dengan angka fiktif memperlihatkan pembagian yang dapat ditiru oleh tim kecil.
Poin Penting
- Setiap lingkungan memiliki tugas: development memberikan umpan balik yang cepat, staging adalah pemeriksaan terakhir sebelum rilis, dan produksi adalah sistem langsung yang diandalkan pengguna nyata.
- Jalankan suite regresi lengkap, termasuk pengujian destruktif, di staging, dan batasi produksi pada smoke suite hanya-baca dan monitor terjadwal.
- Berikan setiap lingkungan base URL, timeout, dan kebijakan retry-nya sendiri, dan jauhkan kredensial dari kode pengujian serta repositori.
- Gunakan data sintetis atau data yang sudah dimasking di staging, dan akun uji khusus di produksi yang tidak masuk ke penagihan, analitik, maupun laporan pelanggan.
- Bangun pagar pengaman terlebih dahulu: monitoring, rencana rollback, tindakan hanya-baca, dan feature flag, serta jangan pernah menjadikan produksi sebagai lini pertahanan pertama Anda.
Fungsi setiap lingkungan
Panduan Flagsmith tentang testing environment best practices menjelaskan empat lingkungan.
- Development mengutamakan umpan balik cepat daripada realisme. Developer bekerja secara lokal atau di sandbox bersama.
- Testing atau QA adalah ruang terkendali untuk pengujian fungsional, integrasi, dan regresi terhadap sebuah build.
- Staging dikonfigurasi agar semirip mungkin dengan produksi dan berfungsi sebagai pemeriksaan terakhir sebelum rilis.
- Production adalah lingkungan langsung yang digunakan oleh pengguna.
Bersama-sama, lingkungan ini membentuk jalur sebuah rilis melalui application lifecycle management: kode berpindah dari satu lingkungan ke lingkungan berikutnya, dan setiap langkah merupakan kesempatan untuk menemukan masalah dengan biaya rendah.
Panduan yang sama menyampaikan dua poin yang penting untuk otomatisasi. Pertama, semakin mirip lingkungan uji dengan produksi, semakin besar keyakinan yang dapat Anda berikan pada hasilnya. Paritas tersebut harus mencakup sistem operasi, versi dependensi, dan konfigurasi jaringan, bukan hanya kode aplikasi. Kedua, lingkungan uji sebaiknya tidak berbagi database, kredensial, atau infrastruktur dengan produksi maupun satu sama lain. Pengujian yang menyentuh database yang salah adalah cara tercepat untuk mengubah sebuah eksekusi pengujian menjadi insiden.
Dalam pipeline DevOps, setiap deployment dapat memicu kumpulan pengujian otomatis yang berbeda. Setelah merge, deploy ke lingkungan uji menjalankan pemeriksaan cepat. Deploy ke tahap berikutnya, staging, menjalankan suite lengkap, dan rilis menunggu hasilnya. Pengujian otomatis di setiap tahap memberikan umpan balik yang cepat, dan Anda mengotomatisasi perpindahan dari satu tahap ke tahap berikutnya hanya ketika pemeriksaan lolos. Pendekatan ini berlaku sama, apakah pengujian UI menggunakan Selenium, Playwright, atau alat lain.
Cara menjalankan pengujian otomatis di staging dan produksi
Artikel TestDino Playwright Staging vs Production: What to Run Where memberikan pembagian yang jelas, dan pembagian ini berlaku untuk alat apa pun.
Di staging, jalankan seluruh rangkaian regresi. Ini mencakup pengujian destruktif yang menghapus akun atau mengosongkan keranjang belanja, pengujian performa dan beban, pengujian regresi visual, serta pengujian migrasi basis data. Gunakan kredensial sandbox atau mode uji untuk layanan pihak ketiga. Staging adalah tempat untuk setiap pengujian yang menulis data atau mensimulasikan kasus tepi.
Di produksi, jalankan rangkaian smoke kecil yang berisi jalur kritis, yang menurut artikel tersebut berkisar lima sampai sepuluh alur, ditambah pemantauan sintetis yang berjalan terjadwal, kira-kira setiap lima sampai lima belas menit. Tambahkan pemeriksaan kesehatan API yang bersifat hanya baca dan pemeriksaan ringan serupa. Aturan artikel ini tegas: setiap pengujian pada sistem live harus bersifat hanya baca atau menggunakan akun uji yang sepenuhnya terisolasi.
Pembagian ini sejalan dengan gagasan di balik pengujian end-to-end. Alur di browser itu lambat dan kadang tidak stabil, jadi simpan daftar panjang untuk staging dan biarkan hanya sedikit alur paling penting yang berjalan terhadap sistem live. Beri tag pada pengujian, misalnya sebagai smoke atau destructive, agar proses produksi dapat mengecualikan grup destruktif berdasarkan aturan, bukan berdasarkan ingatan.
Konfigurasikan setiap lingkungan tanpa membocorkan rahasia
Perlakukan setiap lingkungan sebagai konfigurasi yang terpisah. TestDino menyarankan untuk mendefinisikan proyek terpisah untuk setiap lingkungan di Playwright, masing-masing dengan base URL, batas waktu, dan jumlah percobaan ulang sendiri. Dalam contohnya, staging mengizinkan percobaan ulang sedangkan produksi tidak, dan produksi hanya merekam jejak dan video saat terjadi kegagalan. Gagasan ini juga berlaku di alat lain.
Aturan untuk konfigurasi dan rahasia:
- Jauhkan kredensial dari berkas konfigurasi. Muat nilai khusus lingkungan dari berkas lingkungan yang dikecualikan dari version control, dan hanya commit berkas placeholder yang berisi daftar nama variabel.
- Gunakan penyimpanan rahasia dari platform CI di pipeline. Artikel ini merekomendasikan pengambilan rahasia dari pengaturan lingkungan CI, bukan dari berkas.
- Validasi variabel sebelum eksekusi. Base URL yang hilang menyebabkan kesalahan yang membingungkan, jadi periksa bahwa setiap variabel yang diperlukan sudah diatur sebelum pengujian pertama dimulai.
- Letakkan cakupan produksi di dalam konfigurasi. Filter pengujian produksi di konfigurasi, bukan hanya melalui flag baris perintah yang bisa saja terlupakan.
- Beri versi pada definisi lingkungan. Flagsmith menyarankan agar konfigurasi lingkungan dikelola di bawah version control, sehingga perubahan yang tidak tercatat tidak menyebabkan drift dan kegagalan yang tidak dapat dijelaskan.
Gunakan akun terpisah untuk setiap lingkungan, dan berikan setiap akun hak akses paling minimal yang dibutuhkan pengujiannya.
Data uji: sintetis di staging, terisolasi di produksi
Data adalah tempat kedua di mana pengujian yang aman dan tidak aman mulai berbeda.
- Staging: gunakan data sintetis, data yang dianonimkan, atau data benih. Flagsmith menyarankan agar skenario dunia nyata direplikasi dengan data sintetis, data produksi yang disalin harus dimasking atau dianonimkan, dan data uji disegarkan secara terjadwal agar tidak usang.
- Produksi: data ini berisi data pelanggan yang nyata dan sensitif. TestDino menyarankan akun uji khusus yang dikecualikan dari penagihan dan analitik, serta tidak pernah muncul dalam laporan yang dapat dilihat pelanggan. Jika aplikasi menangani data yang diatur regulasi, TestDino menyarankan penyewa uji khusus dengan data sintetis.
- Data unik per eksekusi: buat nilai unik untuk setiap eksekusi, misalnya dengan stempel waktu, dan siapkan状态 melalui panggilan API, bukan melalui layar.
- Pembersihan: jika sebuah pengujian harus membuat rekaman, hapus rekaman tersebut setelahnya melalui panggilan API.
Panduan BugBug tentang pengujian produksi menambahkan peringatan tentang kerusakan yang tidak dapat dipulihkan. Contoh hal yang harus dihindari antara lain kasus tepi pembayaran dengan kartu sungguhan, migrasi data tanpa cadangan, dan batas izin yang diuji dengan pengguna sungguhan.
Pagar pengaman sebelum menguji di sistem live
Aturan utama BugBug adalah bahwa pengujian produksi hanya berhasil jika pagar pengaman disiapkan terlebih dahulu. Daftarnya singkat dan praktis:
- Pemantauan agar kegagalan cepat terdeteksi, termasuk kegagalan yang disebabkan oleh pengujian itu sendiri.
- Aksi hanya-baca jika memungkinkan, misalnya memeriksa sebuah halaman alih-alih mengirim formulir. Berhenti sebelum tindakan final, seperti membuat pesanan.
- Feature flag untuk menampilkan perubahan kepada kelompok kecil, memperluas audiens secara bertahap, dan mematikannya tanpa perlu deployment ulang. Panduan ini juga memperingatkan tentang feature flag yang terlupakan dan berubah menjadi utang teknis.
- Rencana rollback yang ditetapkan sebelum pengujian, karena rollback seharusnya membosankan, bukan heroik.
- Deteksi, bukan diagnosis. Gunakan pengujian produksi untuk menandai masalah, dan temukan akar penyebabnya di lingkungan lain.
Panduan ini menyampaikan batasannya dengan jelas: produksi adalah lingkaran umpan balik terakhir, bukan lini pertahanan pertama, dan pengujian di produksi bukanlah alasan untuk melewatkan QA.
Contoh: pembagian untuk suite 120 tes
Angka-angka dalam contoh ini bersifat rekaan.
Sebuah tim memiliki 120 tes browser dan satu lingkungan staging. Saat ini seluruh suite dijalankan di staging sebelum setiap rilis, dan tidak ada yang dijalankan setelah rilis dipublikasikan.
QA lead membagi tes menjadi tiga kelompok. Ke-120 tes tetap berjalan di staging, termasuk 18 tes yang diberi tag sebagai destruktif. Kelompok smoke yang terdiri atas 8 tes hanya-baca mencakup proses login, pencarian, membuka faktur, dan mengunduh laporan. Kelompok ini berjalan di sistem live setelah setiap rilis dan kemudian setiap 15 menit, menggunakan akun uji khusus yang tidak memiliki akses ke penagihan. Kelompok ketiga, yang terdiri atas 4 pemeriksaan kesehatan API, berjalan setiap 5 menit.
Dua minggu kemudian, kelompok smoke gagal pada pukul 02.00 karena kata sandi akun uji telah kedaluwarsa. Peringatan dikirim ke insinyur on-call, yang dari log melihat bahwa penyebabnya ada pada akun, bukan pada aplikasi. Tim kemudian memindahkan kata sandi ke penyimpanan secret CI dengan tanggal rotasi. Tidak ada pelanggan yang terdampak, dan tim menyadari bahwa tes di produksi membutuhkan seorang pemilik.
Kesalahan umum
- Menjalankan seluruh suite di produksi. Tes destruktif dan tes penulisan seharusnya berada di staging.
- Berbagi database atau kredensial antarlingkungan. Satu URL yang salah dapat menyentuh data nyata.
- Menyimpan kata sandi atau token di repositori tes. Gunakan penyimpanan secret dan file placeholder.
- Menggunakan akun pelanggan sungguhan sebagai akun tes. Gunakan akun khusus yang tidak masuk ke penagihan dan analitik.
- Melewatkan rencana rollback. Tentukan cara membatalkan perubahan yang bermasalah sebelum Anda mengujinya.
- Membiarkan staging menyimpang dari produksi. Tes yang lulus pada konfigurasi berbeda hanya memberi sedikit informasi.
Bagaimana perangkat lunak dapat membantu
Mulailah dari apa yang ditawarkan sistem CI dan framework pengujian Anda: proyek per lingkungan, penyimpanan secret, eksekusi terjadwal, dan tag. Tambahkan alat pemantauan yang memberi peringatan saat pemeriksaan produksi gagal. Beberapa platform pengujian menggabungkan bagian-bagian ini. Genta by Cognillo adalah salah satu contohnya: menurut vendor, platform ini mendukung lingkungan seperti development, staging, dan production dengan variabel terenkripsi, eksekusi terjadwal, serta audit log. Ini adalah pernyataan vendor dan belum diuji oleh M365.FM. Bandingkan dengan opsi lain dalam pilot, dan periksa bagaimana setiap alat menyimpan secret serta siapa yang dapat membacanya.
Pengungkapan: Cognillo adalah sponsor M365.FM.
Langkah berikutnya
Buat daftar lingkungan Anda dan catat, untuk setiap lingkungan, tes mana yang boleh dijalankan di sana, akun mana yang digunakan, dan di mana secret disimpan. Kemudian pindahkan satu tes destruktif keluar dari produksi, dan gunakan daftar itu untuk menjalankan tes otomatis di staging dan produksi dengan aturan yang jelas.