M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions→ m365con.net

ブログ · Mirko Peters

開発、ステージング、本番:各環境で安全に自動テストを実行する

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

ステージングと本番で自動テストを安全に実行する方法を解説します。各環境で何を実行するか、ベースURLとシークレットをどう設定するか、実際の顧客データをどう保護するかを扱います。

Automatically translated with AI from the original post. Read the English original

ステージングと本番で自動テストを安全に実行するには、各環境に異なる役割を与えることが重要です。ステージングでは回帰テストスイート全体を実行し、本番では読み取り専用の小規模なセットだけを実行します。このガイドは、実際の顧客やデータを危険にさらすことなく、より頻繁なテストを求められているQAリーダーを想定しています。各環境の目的、実行すべき内容、URLとシークレットの設定方法、テストデータの扱い方、設定すべきガードレールを確認できます。架空の数値を使った実例では、小規模なチームでもまねできる分担を示します。

重要なポイント

  • 各環境には役割があります。開発は迅速なフィードバックを提供し、ステージングはリリース前の最終確認を行い、本番は実際のユーザーが依存するライブシステムです。
  • 破壊的なテストを含む回帰テストスイート全体はステージングで実行し、本番は小規模な読み取り専用のスモークテストとスケジュール監視に限定してください。
  • 環境ごとに専用のベースURL、タイムアウト、リトライポリシーを設定し、認証情報はテストコードとリポジトリの外に置いてください。
  • ステージングでは合成データまたはマスク済みデータを使用し、本番では請求、分析、顧客レポートに影響しない専用のテストアカウントを使用してください。
  • まずガードレールを整備してください。監視、ロールバック計画、読み取り専用の操作、機能フラグを用意し、本番を最初の防御線として扱うことは決してしないでください。

各環境の役割

Flagsmithのテスト環境のベストプラクティスに関するガイドでは、4つの環境が説明されています。

  • 開発環境では、現実性よりも迅速なフィードバックを優先します。開発者はローカルor共有サンドボックスで作業します。
  • テスト(QA)環境は、ビルドに対する機能テスト、統合テスト、回帰テストを行うための管理された場所です。
  • ステージング環境は、可能な限り本番に近づけて構成され、リリース前の最終確認の場として機能します。
  • 本番環境は、ユーザーが実際に利用するライブ環境です。

これらを合わせると、アプリケーションライフサイクル管理におけるリリースの経路になります。コードは環境から環境へと移動し、各段階は問題を低コストで発見する機会になります。

同じガイドでは、自動化にとって重要な2つの点が指摘されています。第一に、テスト環境が本番に近いほど、その結果を信頼できます。その一致はアプリケーションコードだけでなく、OS、依存関係のバージョン、ネットワーク構成にも及ぶべきです。第二に、テスト環境は本番や他のテスト環境とデータベース、認証情報、インフラを共有すべきではありません。誤ったデータベースに触れるテストは、テスト実行を即座にインシデントに変えてしまう最も早い方法です。

DevOpsパイプラインでは、デプロイのたびに異なる自動テストのセットを実行できます。マージ後、テスト環境へのデプロイでは高速なチェックを実行します。次の段階であるステージングへのデプロイでは完全なスイートを実行し、リリースは結果を待ちます。各段階での自動テストは迅速なフィードバックをもたらし、チェックに合格した場合にのみ次の段階への移行を自動化します。UIテストにSelenium、Playwright、その他のツールのどれを使う場合でも、この方法は同様に有効です。

検証環境と本番環境で自動テストを実行する方法

TestDino の記事 Playwright Staging vs Production: What to Run Where は、実行内容の切り分けを明確に示しており、どのツールにも当てはまる考え方です。

検証環境では、回帰テストスイートをすべて実行します。アカウントの削除やカートの消去を行う破壊的なテスト、パフォーマンステストと負荷テスト、ビジュアルリグレッションテスト、データベース移行テストが含まれます。サードパーティサービスには、サンドボックスまたはテストモードの認証情報を使用します。データを書き込むテストや、エッジケースを再現するテストはすべて検証環境で実行します。

本番環境では、重要なパスに対する小規模なスモークテストスイートを実行します。記事では、これを約 5 ~ 10 のフローとしています。さらに、約 5 ~ 15 分ごとに合成モニターをスケジュール実行します。読み取り専用の API ヘルスチェックなど、負荷の軽いチェックも追加します。記事のルールは厳格で、本番システム上のテストはすべて読み取り専用であるか、完全に分離されたテストアカウントを使用しなければなりません。

この切り分けは、E2E テストの考え方にも合致します。ブラウザーを使った操作の確認は実行に時間がかかり、不安定になることもあるため、長いテストリストは検証環境に残し、本番システムで実行するのは最も重要な少数の操作だけにします。テストには、スモークや破壊的といったタグを付けておきます。そうすれば、本番環境での実行時に、記憶に頼らず、ルールに基づいて破壊的なテストのグループを除外できます。

機密情報を漏らさずに環境ごとの設定を行う

環境ごとに、それぞれ独立した構成として扱います。TestDino は、Playwright において環境ごとに個別のプロジェクトを定義し、それぞれにベース URL、タイムアウト、リトライ回数を設定することを推奨しています。同社の例では、検証環境ではリトライを許可し、本番環境では許可しません。また、本番環境ではトレースとビデオを失敗時のみ取得します。この考え方は、他のツールでも有効です。

構成とシークレットに関するルール:

  1. 認証情報は構成ファイルに含めないでください。 環境固有の値はバージョン管理の対象外となる環境ファイルから読み込み、変数名を一覧にしたプレースホルダーファイルのみをコミットします。
  2. パイプラインでは CI プラットフォームのシークレットストアを使用してください。 記事では、ファイルではなく CI 環境の設定からシークレットを取得することを推奨しています。
  3. 実行前に変数を検証してください。 ベース URL が未設定だと原因の分かりにくいエラーが発生するため、最初のテストが始まる前に、必要な変数がすべて設定されているかを確認します。
  4. 本番環境の実行範囲は構成で定義してください。 本番環境向けのテストの絞り込みは、誰かが忘れてしまうコマンドラインフラグだけに頼らず、構成ファイルで行います。
  5. 環境定義もバージョン管理してください。 Flagsmith では、環境構成をバージョン管理下で管理することを推奨しています。追跡されていない変更は設定のずれを生み、原因不明の失敗につながるためです。

環境ごとに別々のアカウントを用意し、それぞれのアカウントには、テストに必要な最小限のアクセス許可だけを付与してください。

テストデータ: 検証環境では合成データ、本番環境では分離されたデータ

テストデータも、安全なテストと危険なテストが分かれるもう一つのポイントです。

  • 検証環境: 合成データ、匿名化されたデータ、またはシードデータを使用します。Flagsmith は、合成データで実際の利用シナリオを再現すること、コピーした本番データはマスキングや匿名化を行うこと、テストデータは古くなる前に定期的に更新することを推奨しています。
  • 本番環境: 実際の機密性の高い顧客データが含まれています。TestDino は、課金や分析の対象から除外され、顧客向けのレポートに決して表示されない専用のテストアカウントを用意するよう推奨しています。アプリケーションが規制対象のデータを扱う場合は、合成データを用いた専用のテストテナントを用意することを勧めています。
  • 実行ごとに一意のデータ: 実行のたびに一意の値を生成します(例: タイムスタンプの利用)。また、画面操作ではなく API 呼び出しで状態をセットアップします。
  • クリーンアップ: テストでレコードを作成する必要がある場合は、後から API 呼び出しで削除します。

BugBug の 本番環境テストに関するガイドでは、取り返しのつかない被害について警告しています。やってはいけない例として、実際のカードを使った決済のエッジケース、バックアップなしのデータ移行、実ユーザーを使った権限境界のテストが挙げられています。

本番システムでテストする前のガードレール

BugBug の中心的なルールは、ガードレールを先に整えてこそ本番環境のテストが機能する、というものです。そのリストは短く、実践的です。

  • 監視: テスト自身が引き起こした障害も含めて、障害をすばやく検知できるようにします。
  • 可能な場合は読み取り専用の操作を使います。たとえばフォームを送信するのではなく、ページを確認するといった方法です。注文の確定など、最終的な操作の直前で止めます。
  • 機能フラグを使うと、変更を少人数のグループに公開し、対象者を段階的に広げ、再デプロイなしで無効化できます。ガイドでは、放置された機能フラグが技術的負債になる点も警告しています。
  • テストの前にロールバック計画を定めておきます。ロールバックは英雄的な作業ではなく、淡々と完了する作業であるべきだからです。
  • 診断ではなく検知です。本番環境のテストは問題を検出するために使い、根本原因の特定は別の環境で行います。

ガイドは限界についても明確に述べています。本番環境はフィードバックの最終段階であり、最初の防御線ではありません。また、本番環境でテストすることは、QA を省略する理由にはなりません。

例: 120 件のテストスイートを分割する場合

以下の数値は架空のものです。

あるチームには 120 件のブラウザーテストと、1 つのステージング環境があります。現在はリリースのたびにスイート全体をステージングで実行していますが、リリース後の本番環境では何も実行していません。

QA リーダーは 3 つのグループを設定します。120 件のテストはすべてステージングに残し、そのうち 18 件は破壊的なテストとしてタグ付けします。ログイン、検索、請求書を開く操作、レポートのダウンロードを確認する 8 件の読み取り専用テストを、スモークグループとして用意します。このグループはリリースごとに本番環境で実行し、その後は 15 分ごとに実行します。請求へのアクセス権を持たない専用のテストアカウントを使用します。3 つ目のグループは 4 件の API ヘルスチェックで、5 分ごとに実行します。

2 週間後、テストアカウントのパスワードが期限切れになったため、スモークグループが午前 2 時に失敗しました。アラートはオンコールのエンジニアに届きました。エンジニアはログから、原因はアプリケーションではなくアカウントにあることを確認しました。チームはパスワードを、ローテーション期限を設定したうえで CI のシークレットストアに移しました。顧客への影響はありませんでしたが、チームは本番環境のテストには担当者が必要だと学びました。

よくある間違い

  • 本番環境でスイート全体を実行すること。破壊的な操作や書き込みを伴うテストは、ステージングで実行すべきです。
  • データベースや資格情報を環境間で共有すること。URL を一つ誤るだけで、実際のデータに影響が及んでしまいます。
  • パスワードやトークンをテストリポジトリにコミットすること。シークレットストアとプレースホルダーのファイルを使用してください。
  • 実在の顧客アカウントをテストアカウントとして使用すること。請求や分析に影響しない専用アカウントを使用してください。
  • ロールバック計画を省略すること。テストの前に、問題のある変更を取り消す方法を決めておきます。
  • ステージング環境を本番環境からずれたままにすること。異なる構成で合格したテストからは、ほとんど何もわかりません。

ソフトウェアが役立つ場面

まずは、使用している CI システムとテストフレームワークが提供する機能を確認してください。環境ごとのプロジェクト、シークレットストア、スケジュール実行、タグなどです。本番環境のチェックが失敗したときに通知するモニタリングツールを追加します。これらの要素をまとめて提供するテストプラットフォームもあります。たとえば Genta by Cognillo は、ベンダーの説明によると、暗号化された変数、スケジュール実行、監査ログを備えた開発、ステージング、本番などの環境をサポートしています。これらはベンダーの発表内容であり、M365.FM では検証していません。パイロット導入で他の選択肢と比較し、各ツールがシークレットをどのように保存し、誰が参照できるのかを確認してください。

開示: Cognillo は M365.FM のスポンサーです。

次のステップ

使用している環境をすべて一覧にし、それぞれについて、どのテストを実行してよいか、どのアカウントを使うか、シークレットをどこに保管するかを書き出してください。そのうえで、破壊的なテストを一つ本番環境から移動させ、その一覧を基に、明確なルールに従ってステージングと本番環境で自動テストを実行してください。

Entities in this article

End-to-end testing Application lifecycle management (ALM) Genta Automation

Related articles

RSS