Sviluppo, staging, produzione: eseguire test automatizzati in ciascuno in sicurezza
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Come eseguire test automatizzati in staging e in produzione in sicurezza: cosa eseguire dove, come configurare URL di base e segreti, e come proteggere i dati reali dei clienti.
Automatically translated with AI from the original post. Read the English original
Per eseguire test automatizzati in staging e in produzione in sicurezza, assegna a ciascun ambiente un compito diverso: la suite di regressione completa in staging e solo un insieme ridotto di sola lettura in produzione. Questa guida è pensata per i QA lead a cui viene chiesto di testare più spesso senza mettere a rischio clienti o dati reali. Vedrai a cosa serve ciascun ambiente, cosa eseguire dove, come configurare URL e segreti, come trattare i dati di test e quali misure di protezione adottare. Un esempio pratico con numeri fittizi mostra una suddivisione che un piccolo team può replicare.
Punti chiave
- Ogni ambiente ha un compito preciso: lo sviluppo offre un feedback rapido, lo staging è il controllo finale prima del rilascio e la produzione è il sistema live da cui dipendono gli utenti reali.
- Esegui in staging la suite di regressione completa, inclusi i test distruttivi, e limita la produzione a una piccola suite smoke di sola lettura e ai monitoraggi pianificati.
- Assegna a ogni ambiente il proprio URL di base, i propri timeout e la propria politica di retry, e tieni le credenziali fuori dal codice di test e dal repository.
- Usa dati sintetici o mascherati in staging, e account di test dedicati in produzione che restino esclusi da fatturazione, analisi e report dei clienti.
- Predisponi prima le misure di protezione: monitoraggio, piano di rollback, azioni di sola lettura e feature flag, e non considerare mai la produzione come la tua prima linea di difesa.
A cosa serve ciascun ambiente
La guida di Flagsmith sulle best practice per gli ambienti di test descrive quattro ambienti.
- Sviluppo privilegia il feedback rapido rispetto al realismo. Gli sviluppatori lavorano in locale o in un sandbox condiviso.
- Test o QA è uno spazio controllato per test funzionali, di integrazione e di regressione su una build.
- Staging è configurato per corrispondere il più possibile alla produzione e funge da controllo finale prima del rilascio.
- Produzione è l'ambiente live con cui interagiscono gli utenti.
Insieme, questi ambienti formano il percorso di un rilascio attraverso la gestione del ciclo di vita delle applicazioni: il codice passa da un ambiente al successivo, e ogni passaggio è un'occasione per individuare i problemi a costi ridotti.
La stessa guida fa due osservazioni importanti per l'automazione. Primo, più un ambiente di test somiglia alla produzione, più fiducia puoi riporre in ciò che ti dice; la corrispondenza deve riguardare sistemi operativi, versioni delle dipendenze e configurazione di rete, non solo il codice applicativo. Secondo, gli ambienti di test non devono condividere database, credenziali o infrastruttura con la produzione o tra di loro. Un test che tocca il database sbagliato è il modo più rapido per trasformare un'esecuzione di test in un incidente.
In una pipeline DevOps, ogni distribuzione può attivare un insieme diverso di test automatizzati. Dopo un merge, il deployment nell'ambiente di test esegue controlli rapidi. Il deployment nello stage successivo, lo staging, esegue la suite completa e il rilascio attende il risultato. Il test automatizzato in ogni fase offre un feedback rapido, e l'avanzamento da una fase alla successiva va automatizzato solo quando i controlli sono superati. Lo stesso approccio funziona indipendentemente dal fatto che i test dell'interfaccia utilizzino Selenium, Playwright o un altro strumento.
Come eseguire test automatizzati in staging e in produzione
L'articolo di TestDino Playwright Staging vs Production: What to Run Where propone una suddivisione chiara, valida per qualsiasi strumento.
In staging, esegui la suite di regressione completa. Include i test distruttivi che eliminano account o svuotano i carrelli, i test di prestazioni e di carico, i test di regressione visiva e i test di migrazione del database. Per i servizi di terze parti usa credenziali di sandbox o in modalità test. Lo staging è il posto giusto per ogni test che scrive dati o simula un caso limite.
In produzione, esegui una piccola suite di smoke test sui percorsi critici, circa cinque-dieci flussi secondo l'articolo, insieme a monitor sintetici pianificati, indicativamente ogni cinque-quindici minuti. Aggiungi controlli di integrità delle API in sola lettura e altri controlli leggeri simili. La regola dell'articolo è rigorosa: ogni test sul sistema in produzione deve essere di sola lettura oppure usare account di test completamente isolati.
Questa suddivisione si inserisce nell'idea alla base dei test end-to-end. I percorsi nel browser sono lenti e a volte instabili, quindi conserva l'elenco lungo per lo staging e lascia che sul sistema in produzione girino solo i pochi percorsi più importanti. Etichetta i test, ad esempio come smoke o distruttivi, così che l'esecuzione in produzione possa escludere per regola il gruppo distruttivo, senza affidarsi alla memoria.
Configura ogni ambiente senza esporre segreti
Tratta ogni ambiente come una configurazione separata. TestDino suggerisce di definire in Playwright un progetto distinto per ogni ambiente, ciascuno con il proprio base URL, timeout e numero di tentativi. Nel suo esempio, lo staging consente i tentativi di ripetizione e la produzione no, e la produzione registra tracce e video solo in caso di errore. L'idea funziona anche con altri strumenti.
Regole per configurazione e segreti:
- Tieni le credenziali fuori dai file di configurazione. Carica i valori specifici di ogni ambiente da file esclusi dal controllo di versione, e includi nel repository solo un file segnaposto che elenchi i nomi delle variabili.
- Usa l'archivio segreti della piattaforma CI nelle pipeline. L'articolo consiglia di prendere i segreti dalle impostazioni dell'ambiente CI invece che dai file.
- Valida le variabili prima dell'esecuzione. Un base URL mancante genera errori poco chiari, quindi verifica che ogni variabile richiesta sia impostata prima che parta il primo test.
- Inserisci l'ambito della produzione nella configurazione. Filtra i test di produzione nella configurazione, non solo tramite parametri da riga di comando che qualcuno potrebbe dimenticare.
- Versiona la definizione dell'ambiente. Flagsmith consiglia di gestire la configurazione dell'ambiente sotto controllo di versione, così che le modifiche non tracciate non causino divergenze e guasti inspiegabili.
Usa un account separato per ogni ambiente e assegna a ciascun account il minimo accesso necessario ai suoi test.
Dati di test: sintetici in staging, isolati in produzione
I dati sono il secondo punto in cui il test sicuro e quello rischioso si separano.
- Staging: usa dati sintetici, anonimizzati o preimpostati. Flagsmith consiglia di riprodurre scenari reali con dati sintetici, mascherare o anonimizzare ogni dato di produzione copiato e aggiornare i dati di test a intervalli regolari, invece di lasciarli invecchiare.
- Produzione: contiene dati reali e sensibili dei clienti. TestDino consiglia account di test dedicati, esclusi da fatturazione e analisi e che non compaiono mai nei report destinati ai clienti. Se l'applicazione gestisce dati regolamentati, suggerisce tenant di test dedicati con dati sintetici.
- Dati unici per ogni esecuzione: genera valori univoci per ogni esecuzione, ad esempio con un timestamp, e prepara lo stato tramite una chiamata API invece che tramite l'interfaccia.
- Pulizia: se un test deve creare un record, eliminalo al termine tramite una chiamata API.
La guida di BugBug sui test in produzione aggiunge un avvertimento sui danni irreversibili. Tra gli esempi di cosa non fare ci sono i casi limite di pagamento con carte reali, le migrazioni di dati senza backup e i limiti di autorizzazione testati con utenti reali.
Protezioni prima di testare sul sistema in produzione
La regola centrale di BugBug è che i test in produzione funzionano solo se prima si predispongono le protezioni. La sua lista è breve e pratica:
- Monitoraggio per individuare rapidamente i guasti, compresi quelli causati dagli stessi test.
- Azioni di sola lettura dove possibile, ad esempio verificare una pagina invece di inviare un modulo. Fermati prima delle azioni finali, come confermare un ordine.
- Feature flag per esporre una modifica a un gruppo ristretto, allargare il pubblico per gradi e disattivarla senza un nuovo deployment. La guida avverte anche dei flag dimenticati, che diventano debito tecnico.
- Un piano di rollback definito prima del test, perché i rollback dovrebbero essere noiosi, non eroici.
- Rilevamento, non diagnosi. Usa i test in produzione per segnalare un problema e individua la causa radice in un altro ambiente.
La guida chiarisce i limiti: la produzione è l'ultimo anello del ciclo di feedback, non la prima linea di difesa, e testare in produzione non è una scusa per saltare il QA.
Esempio: una suddivisione per una suite di 120 test
I numeri sono inventati.
Un team ha 120 test del browser e un solo ambiente di staging. Oggi l'intera suite viene eseguita in staging prima di ogni rilascio e nulla viene eseguito dopo che il rilascio va in produzione.
Il QA lead crea tre gruppi. Tutti i 120 test restano in staging, inclusi 18 marcati come distruttivi. Un gruppo smoke di 8 test di sola lettura copre accesso, ricerca, apertura di una fattura e download di un report. Viene eseguito sul sistema in produzione dopo ogni rilascio e poi ogni 15 minuti, usando un account di test dedicato senza accesso alla fatturazione. Un terzo gruppo di 4 controlli di integrità delle API viene eseguito ogni 5 minuti.
Due settimane dopo, il gruppo smoke fallisce alle 2 di notte perché la password dell'account di test è scaduta. L'avviso arriva all'ingegnere di reperibilità, che dal log vede che la causa è l'account e non l'applicazione. Il team sposta la password nell'archivio segreti della CI con una data di rotazione. Nessun cliente è stato coinvolto, e il team ha capito che i test in produzione devono avere un responsabile.
Errori comuni
- Eseguire l'intera suite in produzione. I test distruttivi e quelli di scrittura appartengono allo staging.
- Condividere database o credenziali tra ambienti. Un URL sbagliato può così toccare dati reali.
- Committare password o token nel repository dei test. Usa un archivio segreti e un file segnaposto.
- Usare account clienti reali come account di test. Usa account dedicati che restino fuori da fatturazione e analisi.
- Saltare il piano di rollback. Decidi come annullare una modifica errata prima di testarla.
- Lasciare che lo staging si discosti dalla produzione. I test che passano su una configurazione diversa dicono poco.
Come può aiutare il software
Parti da ciò che offrono il tuo sistema di CI e il tuo framework di test: progetti per ambiente, un archivio segreti, esecuzioni pianificate e tag. Aggiungi uno strumento di monitoraggio che segnali i controlli falliti in produzione. Alcune piattaforme di test riuniscono questi elementi. Genta by Cognillo è un esempio: secondo il fornitore supporta ambienti come sviluppo, staging e produzione con variabili cifrate, esecuzioni pianificate e un registro delle attività. Si tratta di dichiarazioni del fornitore, non verificate da M365.FM. Confrontalo con altre opzioni in un pilota e verifica come ogni strumento memorizza i segreti e chi può leggerli.
Nota di trasparenza: Cognillo sponsorizza M365.FM.
Prossimo passo
Elenca i tuoi ambienti e annota, per ciascuno, quali test possono essere eseguiti lì, quale account usano e dove sono conservati i segreti. Poi sposta un test distruttivo fuori dalla produzione e usa questo elenco per eseguire test automatizzati in staging e in produzione con regole chiare.