M365Con 2027 – gratis online conferentie · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Dev, staging, productie: automatisch testen in elke omgeving op een veilige manier

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Hoe je geautomatiseerde tests veilig uitvoert in staging en productie: wat je waar draait, hoe je base-URL's en secrets instelt en hoe je echte klantgegevens beschermt.

Automatically translated with AI from the original post. Read the English original

Om geautomatiseerde tests veilig in staging en productie uit te voeren, geef je elke omgeving een eigen taak: de volledige regressiesuite in staging, en in productie alleen een kleine, alleen-lezen set. Deze gids is bedoeld voor QA-leads die vaker moeten testen zonder echte klanten of echte gegevens in gevaar te brengen. Je leest waar elke omgeving voor dient, wat je waar draait, hoe je URL's en secrets configureert, hoe je testdata behandelt en welke guardrails je instelt. Een uitgewerkt voorbeeld met fictieve getallen laat een verdeling zien die een klein team kan overnemen.

Belangrijkste punten

  • Elke omgeving heeft een taak: development geeft snelle feedback, staging is de laatste controle vóór de release, en productie is het live systeem waar echte gebruikers van afhankelijk zijn.
  • Draai de volledige regressiesuite, inclusief destructieve tests, in staging, en beperk productie tot een kleine alleen-lezen smoke-suite en geplande monitors.
  • Geef elke omgeving een eigen base-URL, eigen timeouts en een eigen retrybeleid, en houd credentials uit de testcode en uit de repository.
  • Gebruik synthetische of gemaskeerde gegevens in staging, en speciale testaccounts in productie die buiten facturatie, analyses en klantrapportages blijven.
  • Bouw eerst de guardrails: monitoring, een rollbackplan, alleen-lezen acties en feature flags. Zie productie nooit als je eerste verdedigingslinie.

Waar elke omgeving voor dient

De Flagsmith-gids over best practices voor testomgevingen beschrijft vier omgevingen.

  • Development zet snelle feedback boven realisme. Ontwikkelaars werken lokaal of in een gedeelde sandbox.
  • Testing of QA is een gecontroleerde omgeving voor functionele, integratie- en regressietests op een build.
  • Staging is zo ingericht dat het zo veel mogelijk op productie lijkt, en dient als laatste controle vóór de release.
  • Productie is de live omgeving waarmee gebruikers werken.

Samen vormen deze omgevingen het pad van een release door application lifecycle management: code gaat van de ene omgeving naar de volgende, en elke stap is een kans om problemen goedkoop te vinden.

Dezelfde gids maakt twee punten die voor automatisering belangrijk zijn. Ten eerste: hoe meer een testomgeving op productie lijkt, hoe meer vertrouwen je kunt hebben in wat hij je vertelt. Die gelijkenis moet ook besturingssystemen, afhankelijkheidsversies en netwerkconfiguratie omvatten, niet alleen de applicatiecode. Ten tweede: testomgevingen mogen geen databases, credentials of infrastructuur delen met productie of met elkaar. Een test die de verkeerde database raakt, is de snelste manier om een testrun in een incident te laten veranderen.

In een DevOps-pipeline kan elke deployment een andere set geautomatiseerde tests starten. Na een merge draait de deployment naar de testomgeving snelle controles. De deployment naar de volgende fase, staging, draait de volledige suite, en de release wacht op het resultaat. Geautomatiseerd testen in elke fase geeft snelle feedback, en je automatiseert de overgang naar de volgende fase pas wanneer de controles slagen. Dezelfde aanpak werkt of je UI-tests nu Selenium, Playwright of een ander hulpmiddel gebruiken.

Hoe je geautomatiseerde tests uitvoert in staging en productie

Het TestDino-artikel Playwright Staging vs Production: What to Run Where geeft een duidelijke verdeling, en die geldt voor elke tool.

In staging voer je de volledige regressiesuite uit. Dat omvat destructieve tests die accounts verwijderen of winkelwagens leegmaken, prestatie- en belastingstests, visuele regressietests en tests voor databasemigraties. Gebruik sandbox- of testmodus-inloggegevens voor diensten van derden. Staging is de plek voor alle tests die data wegschrijven of een randgeval simuleren.

In productie draai je een kleine smoketestsuite met kritieke paden, volgens het artikel ongeveer vijf tot tien flows, plus synthetische monitors volgens een schema, ongeveer elke vijf tot vijftien minuten. Voeg daar alleen-lezen API-healthchecks en vergelijkbare lichte controles aan toe. De regel in het artikel is streng: elke test op het live systeem moet alleen-lezen zijn of gebruikmaken van volledig geïsoleerde testaccounts.

Die verdeling past bij het idee achter end-to-end testing. Browserscenario's zijn traag en soms instabiel, dus houd de lange lijst voor staging en laat alleen de paar belangrijkste scenario's op het live systeem draaien. Tag tests, bijvoorbeeld als smoke of destructief, zodat de productierun de destructieve groep volgens een regel kan uitsluiten in plaats van op basis van het geheugen van iemand.

Configureer elke omgeving zonder geheimen te lekken

Behandel elke omgeving als een aparte configuratie. TestDino raadt aan in Playwright per omgeving een apart project te definiëren, elk met een eigen base URL, timeout en aantal herhalingen. In het voorbeeld zijn herhalingen in staging toegestaan maar in productie niet, en legt productie alleen bij een fout traces en video's vast. Het idee werkt ook in andere tools.

Regels voor configuratie en geheimen:

  1. Houd inloggegevens uit configuratiebestanden. Laad omgevingsspecifieke waarden uit omgevingsbestanden die buiten versiebeheer blijven, en commit alleen een sjabloonbestand met de namen van de variabelen.
  2. Gebruik de geheimenopslag van het CI-platform in pipelines. Het artikel raadt aan geheimen uit de omgevingsinstellingen van de CI-omgeving te halen in plaats van uit bestanden.
  3. Valideer variabelen vóór de run. Een ontbrekende base URL veroorzaakt verwarrende fouten, dus controleer of elke vereiste variabele is ingesteld voordat de eerste test start.
  4. Leg de scope van productie vast in de configuratie. Filter productietests in de configuratie, niet alleen met opdrachtregelvlaggen die iemand kan vergeten.
  5. Versioneer de omgevingsdefinitie. Flagsmith adviseert om omgevingsconfiguratie onder versiebeheer te beheren, zodat ongemonitorde wijzigingen geen drift en onverklaarbare fouten veroorzaken.

Gebruik per omgeving een apart account en geef elk account alleen de toegang die de tests nodig hebben.

Testdata: synthetisch in staging, geïsoleerd in productie

Data is de tweede plek waar veilig en onveilig testen uit elkaar lopen.

  • Staging: gebruik synthetische, geanonimiseerde of vooraf gevulde data. Flagsmith adviseert om praktijkscenario's na te bootsen met synthetische data, productiedata die je kopieert te maskeren of anonimiseren, en testdata volgens een schema te verversen in plaats van die te laten verouderen.
  • Productie: hier staan echte en gevoelige klantgegevens. TestDino adviseert speciale testaccounts die zijn uitgesloten van facturatie en analyse en die nooit in klantgerichte rapportages verschijnen. Als de applicatie gereguleerde data verwerkt, raadt het speciale testtenants met synthetische data aan.
  • Unieke data per run: genereer voor elke run unieke waarden, bijvoorbeeld met een tijdstempel, en zet de toestand op via een API-aanroep in plaats van via het scherm.
  • Opruimen: als een test een record moet aanmaken, verwijder het daarna via een API-aanroep.

De BugBug-gids over production testing waarschuwt voor schade die niet terug te draaien is. De voorbeelden van wat je niet moet doen zijn betalingsrandgevallen met echte kaarten, datamigraties zonder back-up en rechtengrenzen die met echte gebruikers worden getest.

Waarborgen voordat je op het live systeem test

De centrale regel van BugBug is dat testen in productie alleen werkt als de waarborgen eerst op orde zijn. De lijst is kort en praktisch:

  • Monitoring zodat storingen snel worden gesignaleerd, ook storingen die de tests zelf veroorzaken.
  • Alleen-lezen acties waar dat kan, zoals een pagina controleren in plaats van een formulier versturen. Stop vóór definitieve acties, zoals het plaatsen van een bestelling.
  • Feature flags om een wijziging aan een kleine groep te tonen, het publiek stapsgewijs uit te breiden en de wijziging uit te schakelen zonder opnieuw te deployen. De gids waarschuwt ook voor vergeten flags, die uitgroeien tot technische schuld.
  • Een rollbackplan dat je vóór de test vastlegt, want rollbacks moeten saai zijn, geen heldendaad.
  • Detectie, geen diagnose. Gebruik tests in productie om een probleem te signaleren en zoek de grondoorzaak in een andere omgeving.

De gids stelt de grenzen duidelijk: productie is de laatste feedbacklus, niet de eerste verdedigingslinie, en testen in productie is geen excuus om QA over te slaan.

Voorbeeld: een opsplitsing voor een suite met 120 tests

De cijfers zijn verzonnen.

Een team heeft 120 browsertests en één staging-omgeving. Vandaag draait de volledige suite op staging vóór elke release, en na de livegang van een release draait er niets meer.

De QA-lead maakt drie groepen. Alle 120 tests blijven op staging, inclusief 18 tests die als destructief zijn gemarkeerd. Een smoke-groep van 8 alleen-lezen tests dekt inloggen, zoeken, het openen van een factuur en het downloaden van een rapport. Die draait na elke release op het live systeem en daarna elke 15 minuten, met een speciaal testaccount zonder toegang tot facturatie. Een derde groep van 4 API-healthchecks draait elke 5 minuten.

Twee weken later faalt de smoke-groep om 02:00 uur, omdat het wachtwoord van het testaccount is verlopen. De melding gaat naar de engineer van wacht, die in het logboek ziet dat de oorzaak het account is en niet de applicatie. Het team zet het wachtwoord in de CI-secretopslag met een datum voor rotatie. Geen enkele klant was getroffen, en het team leerde dat de productietests een eigenaar nodig hebben.

Veelgemaakte fouten

  • De volledige suite in productie draaien. Destructieve en schrijvende tests horen op staging thuis.
  • Een database of inloggegevens delen over omgevingen heen. Eén verkeerde URL raakt dan echte gegevens.
  • Wachtwoorden of tokens in de testrepository opslaan. Gebruik een secretopslag en een placeholderbestand.
  • Echte klantaccounts als testaccounts gebruiken. Gebruik speciale accounts die buiten facturatie en analyse blijven.
  • Het rollbackplan overslaan. Bepaal hoe je een slechte wijziging ongedaan maakt voordat je test.
  • Laten afdrijven van staging ten opzichte van productie. Tests die slagen op een andere opzet zeggen weinig.

Hoe software kan helpen

Begin met wat je CI-systeem en testframework bieden: projecten per omgeving, een secretopslag, geplande runs en tags. Voeg een monitoringtool toe die een melding geeft bij mislukte productiechecks. Sommige testplatforms brengen deze onderdelen samen. Genta by Cognillo is een voorbeeld: volgens de leverancier ondersteunt het omgevingen zoals ontwikkeling, staging en productie, met versleutelde variabelen, geplande runs en een auditlogboek. Dit zijn de uitspraken van de leverancier en ze zijn niet door M365.FM getest. Vergelijk het met andere opties in een pilot en controleer hoe elke tool geheimen opslaat en wie ze kan lezen.

Openbaarmaking: Cognillo sponsort M365.FM.

Volgende stap

Maak een lijst van je omgevingen en noteer per omgeving welke tests er mogen draaien, welk account er wordt gebruikt en waar de geheimen worden bewaard. Verplaats daarna één destructieve test uit productie en gebruik die lijst om geautomatiseerde tests op staging en productie te draaien, met duidelijke regels.

Entities in this article

End-to-end testing Application lifecycle management (ALM) Genta Automation

Related articles

RSS