M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Entwicklung, Staging, Produktion: automatisierte Tests in jeder Umgebung sicher ausführen

Transparenzhinweis: Cognillo sponsert M365.FM. Diese Seite beschreibt das Unternehmen sachlich; bezahlte Partnerschaften und Links sind als Anzeige gekennzeichnet.

Von · · Aktualisiert

Wie Sie automatisierte Tests in Staging und Produktion sicher ausführen: was wo läuft, wie Sie Basis-URLs und Geheimnisse einrichten und wie Sie echte Kundendaten schützen.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Damit Sie automatisierte Tests in Staging und Produktion sicher ausführen können, weisen Sie jeder Umgebung eine andere Aufgabe zu: die vollständige Regressionssuite in Staging und nur eine kleine, rein lesende Auswahl in der Produktion. Dieser Leitfaden richtet sich an QA-Leads, die häufiger testen sollen, ohne echte Kunden oder echte Daten zu gefährden. Sie erfahren, wofür jede Umgebung da ist, was wo läuft, wie Sie URLs und Geheimnisse konfigurieren, wie Sie mit Testdaten umgehen und welche Schutzmechanismen Sie einrichten sollten. Ein Beispiel mit frei erfundenen Zahlen zeigt eine Aufteilung, die ein kleines Team übernehmen kann.

Das Wichtigste in Kürze

  • Jede Umgebung hat eine Aufgabe: Die Entwicklung liefert schnelles Feedback, Staging ist die letzte Prüfung vor dem Release, und die Produktion ist das Live-System, auf das sich echte Nutzer verlassen.
  • Führen Sie die vollständige Regressionssuite einschließlich destruktiver Tests in Staging aus. Beschränken Sie die Produktion auf eine kleine, rein lesende Smoke-Suite und geplante Überwachungen.
  • Geben Sie jeder Umgebung eigene Basis-URLs, Timeouts und eine eigene Wiederholungsrichtlinie. Halten Sie Zugangsdaten aus dem Testcode und aus dem Repository heraus.
  • Verwenden Sie in Staging synthetische oder maskierte Daten und in der Produktion dedizierte Testkonten, die nicht in Abrechnung, Analysen und Kundenberichten auftauchen.
  • Richten Sie zuerst die Schutzmechanismen ein: Überwachung, einen Rollback-Plan, reine Lesevorgänge und Feature-Flags. Betrachten Sie die Produktion niemals als Ihre erste Verteidigungslinie.

Wofür jede Umgebung da ist

Der Flagsmith-Leitfaden zu Best Practices für Testumgebungen beschreibt vier Umgebungen.

  • Entwicklung stellt schnelles Feedback über Realitätsnähe. Entwickler arbeiten lokal oder in einer gemeinsamen Sandbox.
  • Test oder QA ist ein kontrollierter Bereich für funktionale Tests, Integrationstests und Regressionstests gegen einen Build.
  • Staging ist so konfiguriert, dass es der Produktion möglichst genau entspricht, und dient als letzte Prüfung vor dem Release.
  • Produktion ist die Live-Umgebung, mit der Nutzer arbeiten.

Zusammen bilden diese Umgebungen den Weg eines Releases durch das Application Lifecycle Management: Code wandert von einer Umgebung zur nächsten, und jeder Schritt ist eine Chance, Probleme günstig zu finden.

Der gleiche Leitfaden macht zwei Punkte, die für die Automatisierung wichtig sind. Erstens: Je näher eine Testumgebung der Produktion kommt, desto mehr Vertrauen können Sie in ihre Ergebnisse setzen. Die Übereinstimmung sollte Betriebssysteme, Abhängigkeitsversionen und Netzwerkkonfiguration umfassen, nicht nur den Anwendungscode. Zweitens sollten Testumgebungen weder Datenbanken, Zugangsdaten noch Infrastruktur mit der Produktion oder untereinander teilen. Ein Test, der die falsche Datenbank anspricht, ist der schnellste Weg, einen Testlauf in einen Vorfall zu verwandeln.

In einer DevOps-Pipeline kann jede Bereitstellung eine andere Gruppe automatisierter Tests auslösen. Nach einem Merge führt die Bereitstellung in der Testumgebung schnelle Prüfungen aus. Die Bereitstellung in der nächsten Stufe, Staging, führt die vollständige Suite aus, und das Release wartet auf das Ergebnis. Automatisierte Tests in jeder Stufe liefern schnelles Feedback, und den Übergang von einer Stufe zur nächsten automatisieren Sie erst, wenn die Prüfungen bestanden sind. Dieser Ansatz funktioniert unabhängig davon, ob die UI-Tests Selenium, Playwright oder ein anderes Werkzeug verwenden.

Automatisierte Tests in Staging und Produktion ausführen

Der TestDino-Artikel Playwright Staging vs Production: What to Run Where beschreibt eine klare Aufteilung, und diese gilt für jedes Tool.

In Staging führen Sie die vollständige Regressionssuite aus. Dazu gehören destruktive Tests, die Konten löschen oder Warenkörbe leeren, Performance- und Lasttests, visuelle Regressionstests und Tests für Datenbankmigrationen. Verwenden Sie für Drittanbieterdienste Sandbox- oder Testmodus-Zugangsdaten. Staging ist der richtige Ort für alle Tests, die Daten schreiben oder einen Grenzfall simulieren.

In der Produktion führen Sie eine kleine Smoke-Suite mit kritischen Prozessen aus. Der Artikel empfiehlt etwa fünf bis zehn Abläufe. Ergänzen Sie diese um synthetische Überwachungen, die etwa alle fünf bis fünfzehn Minuten laufen. Fügen Sie außerdem schreibgeschützte API-Integritätsprüfungen und ähnlich leichtgewichtige Checks hinzu. Die Regel des Artikels ist streng: Jeder Test auf dem Live-System muss schreibgeschützt sein oder vollständig isolierte Testkonten verwenden.

Diese Aufteilung passt zum Gedanken hinter End-to-End-Tests. Browserabläufe sind langsam und manchmal instabil. Behalten Sie daher die lange Liste für Staging und lassen Sie nur die wenigen wichtigsten Abläufe gegen das Live-System laufen. Taggen Sie Tests, zum Beispiel als Smoke oder destruktiv. So kann der Produktionslauf die destruktive Gruppe per Regel ausschließen und sich nicht auf das Gedächtnis verlassen.

Jede Umgebung konfigurieren, ohne Geheimnisse preiszugeben

Behandeln Sie jede Umgebung als eigene Konfiguration. TestDino empfiehlt, in Playwright für jede Umgebung ein eigenes Projekt mit eigener Basis-URL, eigenem Timeout und eigener Anzahl an Wiederholungen zu definieren. Im Beispiel des Artikels sind Wiederholungen in Staging erlaubt, in der Produktion dagegen nicht. Außerdem werden in der Produktion Traces und Videos nur bei Fehlern erfasst. Das Prinzip funktioniert auch mit anderen Tools.

Regeln für Konfiguration und Geheimnisse:

  1. Halten Sie Zugangsdaten aus Konfigurationsdateien heraus. Laden Sie umgebungsspezifische Werte aus Umgebungsdateien, die von der Versionsverwaltung ausgeschlossen sind. Committen Sie nur eine Platzhalterdatei, die die Variablennamen auflistet.
  2. Verwenden Sie in Pipelines den Geheimnisspeicher Ihrer CI-Plattform. Der Artikel empfiehlt, Geheimnisse aus den Einstellungen der CI-Umgebung zu beziehen und nicht aus Dateien.
  3. Validieren Sie Variablen vor dem Lauf. Eine fehlende Basis-URL verursacht verwirrende Fehler. Prüfen Sie daher, dass jede erforderliche Variable gesetzt ist, bevor der erste Test startet.
  4. Legen Sie den Produktionsumfang in der Konfiguration fest. Filtern Sie Produktionstests in der Konfiguration und nicht nur über Kommandozeilenparameter, die jemand vergessen kann.
  5. Versionieren Sie die Umgebungsdefinition. Flagsmith rät, die Umgebungskonfiguration unter Versionskontrolle zu verwalten. So verursachen nicht nachverfolgte Änderungen keine Abweichungen und unerklärliche Fehler.

Verwenden Sie für jede Umgebung ein eigenes Konto und vergeben Sie jedem Konto nur die Berechtigungen, die seine Tests tatsächlich benötigen.

Testdaten: synthetisch in Staging, isoliert in der Produktion

Bei den Daten unterscheiden sich sichere und riskante Tests ein zweites Mal.

  • Staging: Verwenden Sie synthetische, anonymisierte oder vorbereitete Daten. Flagsmith empfiehlt, reale Szenarien mit synthetischen Daten nachzubilden, kopierte Produktionsdaten zu maskieren oder zu anonymisieren und Testdaten regelmäßig zu aktualisieren, damit sie nicht veralten.
  • Produktion: Hier liegen echte und sensible Kundendaten. TestDino empfiehlt dedizierte Testkonten, die von Abrechnung und Analyse ausgeschlossen sind und in kundenseitigen Berichten nie auftauchen. Verarbeitet die Anwendung regulierte Daten, schlägt der Artikel dedizierte Test-Mandanten mit synthetischen Daten vor.
  • Eindeutige Daten pro Lauf: Erzeugen Sie für jeden Lauf eindeutige Werte, zum Beispiel mit einem Zeitstempel. Richten Sie den Zustand über einen API-Aufruf statt über die Benutzeroberfläche ein.
  • Aufräumen: Muss ein Test einen Datensatz anlegen, löschen Sie ihn anschließend über einen API-Aufruf.

Der BugBug-Leitfaden zu Produktionstests warnt vor irreversiblen Schäden. Zu den Beispielen dafür, was Sie nicht tun sollten, gehören Zahlungsgrenzfälle mit echten Karten, Datenmigrationen ohne Backups und Berechtigungsgrenzen, die mit echten Benutzern getestet werden.

Schutzmaßnahmen, bevor Sie auf dem Live-System testen

Die zentrale Regel von BugBug lautet: Tests in der Produktion funktionieren nur, wenn zuerst Schutzmaßnahmen stehen. Die Liste ist kurz und praxisnah:

  • Monitoring, damit Fehler schnell erkannt werden, auch solche, die die Tests selbst verursachen.
  • Nur-Lese-Aktionen, wo immer möglich, etwa das Prüfen einer Seite statt des Absendens eines Formulars. Stoppen Sie vor endgültigen Aktionen wie dem Abschluss einer Bestellung.
  • Feature-Flags machen eine Änderung zunächst nur einer kleinen Gruppe sichtbar. Der Kreis wird schrittweise erweitert, und die Funktion lässt sich ohne erneutes Deployment wieder abschalten. Der Leitfaden warnt außerdem vor vergessenen Flags, die zu technischen Schulden werden.
  • Ein Rollback-Plan, der vor dem Test festgelegt wird, denn Rollbacks sollten unspektakulär sein, nicht heldenhaft.
  • Erkennung statt Diagnose. Nutzen Sie Tests in der Produktion, um ein Problem zu melden, und finden Sie die Ursache in einer anderen Umgebung.

Der Leitfaden benennt die Grenzen klar: Die Produktion ist die letzte Rückkopplungsschleife, nicht die erste Verteidigungslinie, und Tests in der Produktion sind kein Vorwand, auf QA zu verzichten.

Beispiel: eine Aufteilung für eine Suite mit 120 Tests

Die Zahlen sind frei erfunden.

Ein Team hat 120 Browser-Tests und eine Staging-Umgebung. Heute läuft die gesamte Suite vor jedem Release auf Staging, und nach dem Go-Live läuft nichts mehr.

Der QA-Leiter richtet drei Gruppen ein. Alle 120 Tests bleiben auf Staging, darunter 18, die als destruktiv markiert sind. Eine Smoke-Gruppe mit 8 reinen Lesetests deckt Anmeldung, Suche, das Öffnen einer Rechnung und den Download eines Berichts ab. Sie läuft nach jedem Release auf dem Live-System und danach alle 15 Minuten, mit einem dedizierten Testkonto ohne Zugriff auf die Fakturierung. Eine dritte Gruppe aus 4 API-Health-Checks läuft alle 5 Minuten.

Zwei Wochen später schlägt die Smoke-Gruppe um 2 Uhr morgens fehl, weil das Passwort des Testkontos abgelaufen ist. Die Benachrichtigung geht an den Bereitschaftsingenieur, der im Log erkennt, dass die Ursache das Konto ist und nicht die Anwendung. Das Team hinterlegt das Passwort im Secret Store der CI-Pipeline mit einem Rotationsdatum. Kein Kunde war betroffen, und das Team hat gelernt, dass Produktionstests einen verantwortlichen Owner brauchen.

Häufige Fehler

  • Die vollständige Suite in der Produktion ausführen. Destruktive und schreibende Tests gehören auf Staging.
  • Eine Datenbank oder Zugangsdaten über Umgebungen hinweg teilen. Eine falsche URL greift dann auf echte Daten zu.
  • Passwörter oder Tokens im Testrepository speichern. Verwenden Sie einen Secret Store und eine Platzhalterdatei.
  • Echte Kundenkonten als Testkonten verwenden. Verwenden Sie dedizierte Konten, die außerhalb von Fakturierung und Analysen bleiben.
  • Den Rollback-Plan auslassen. Legen Sie fest, wie Sie eine fehlerhafte Änderung rückgängig machen, bevor Sie testen.
  • Zulassen, dass Staging von der Produktion abweicht. Tests, die auf einem anderen Setup bestehen, sagen wenig aus.

Wie Software helfen kann

Beginnen Sie mit dem, was Ihr CI-System und Ihr Test-Framework bieten: projektbezogene Konfigurationen pro Umgebung, einen Secret Store, zeitgesteuerte Läufe und Tags. Ergänzen Sie ein Monitoring-Tool, das bei fehlgeschlagenen Produktionsprüfungen alarmiert. Manche Testplattformen bündeln diese Bausteine. Genta by Cognillo ist ein Beispiel: Laut Anbieter unterstützt es Umgebungen wie Development, Staging und Production mit verschlüsselten Variablen, zeitgesteuerten Läufen und einem Audit-Log. Dabei handelt es sich um Aussagen des Anbieters, die M365.FM nicht getestet hat. Vergleichen Sie es im Pilotbetrieb mit anderen Optionen und prüfen Sie, wie jedes Tool Geheimnisse speichert und wer sie lesen kann.

Hinweis: Cognillo sponsert M365.FM.

Nächster Schritt

Listen Sie Ihre Umgebungen auf und halten Sie für jede fest, welche Tests dort laufen dürfen, welches Konto sie verwenden und wo die Geheimnisse liegen. Verlagern Sie danach einen destruktiven Test aus der Produktion und nutzen Sie die Liste, um automatisierte Tests auf Staging und in der Produktion mit klaren Regeln auszuführen.

Entitäten in diesem Artikel

End-to-end testing Application lifecycle management (ALM) Genta Automation

Verwandte Artikel

RSS

Anzeige

iFAKT GmbH