監査向けのテスト証跡:スクリーンショット、ログ、合否記録
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
監査向けの自動テスト証跡:QAリードが記録すべき内容、スクリーンショット・ログ・合否記録をレビュー可能に保つ方法、監査人への回答方法について解説します。
Automatically translated with AI from the original post. Read the English original
監査向けの自動テスト証跡とは、テストが実行されたこと、何を検証したのか、そして何が起きたのかを証明する記録の集合であり、数か月後でも第三者がレビューできる形で残されたものです。このガイドは、コンプライアンスレビューやバリデーションの際に証明を求められるQAリードを対象としています。監査人が何を見ているのか、テスト実行のどの部分を保管する価値があるのか、どの程度の詳細さで記録すべきか、そしてそれをどのように整理するかを解説します。架空の数値を用いた実例では、あるチームが慌ただしい対応から5分で回答できる状態へ移行する様子を紹介します。
重要なポイント
- 監査人は記録だけを見て、何がテストされ、何が期待され、何が起きたのか、そしてテストを実行したのが誰(または何)なのかを確認できる必要があります。そのため、合否だけの記録では不十分であることがほとんどです。
- 有用な証跡は5つの要素で構成されます。スクリーンショットまたは録画、実行ログ、テストデータなどの添付ファイル、実行メタデータ、そして失敗から不具合への紐付けです。
- スクリーンショットは法的に必須ではありません。また、ログが信頼でき、テスト自動化ツール自体が検証済みであれば、システムログも証跡として利用できます。
- 証跡の詳細度はリスクに応じて調整してください。リスクの高い機能には完全な記録を、リスクの低い機能には簡素な記録を残します。
- すべてのテストを要件に紐付け、1つの要件について完全な証跡をどれだけ早く取り出せるかを測定してください。
監査人が実際に求めるもの
監査人が求めているのはテストツールではありません。監査人が知りたいのは、製品が意図どおりに動作するかどうか、そしてそれを自社の記録が裏付けているかどうかです。医療機器の品質向けに書かれたJohner Instituteの客観的証拠に関する記事は、文書は第三者が何を行い、なぜ要件を満たしているのかを理解できるほど詳細であるべきだと述べています。
同記事では、テスト記録の詳細度を4段階に分けて説明しています。単なる「合格」「不合格」から、動画による完全な記録までです。第1段階は不十分とされ、第2段階はトレーサビリティが限定的だとされています。そして第3段階以降、つまりスクリーンショットがあれば、レビュー担当者が判断するための材料として十分だとしています。また、合否のみの記録は通常は受け入れられないとも述べています。
分野ごとに独自のルールはありますが、どのフレームワークや規格でも、次のような同じ問いが繰り返し出てきます。
- 何をテストし、それはどの要件に対応するのか?
- 何が起きることを期待していたのか?
- 実際に何が起き、テストを実行したのは誰(または何)か?
- いつ、どの環境で起きたのか?
- 失敗した場合、どのような対応を取ったのか?
担当者への問い合わせなしに、この5つの問いに答えられる監査証跡こそ、優れた文書の条件です。これをテストチームの監査対応力の一部として捉え、レビュー直前の数週間だけでなく、年間を通じて監査に備えた状態を保ってください。
監査向けの自動テスト証跡:記録すべき内容
TestCollabによるテスト証跡戦略に関するガイドでは、5種類の証跡が挙げられています。あらゆるドキュメント化に使える良いチェックリストとして、以下に示します。
- スクリーンショットと録画。 画面の状態、エラーメッセージ、障害の視覚的な証拠になります。特に、ブラウザーベースのエンドツーエンド テストで効果を発揮します。
- 実行ログ。 何が成功し、何が失敗し、なぜ失敗したのかを手順ごとに記録したものです。
- 添付ファイル。 テストデータ、構成のスナップショット、API の応答、エクスポートしたレポートなどです。
- 実行メタデータ。 誰がいつ、どの環境で、どの構成で実行したかの情報です。
- 不具合へのリンク。 失敗したテストと、それに対応する不具合チケットを結び付けます。
証拠の収集を自動化するのは自然な次のステップです。自動化しているチームは、記憶に頼らなくなります。ツールは失敗時にスクリーンショットを添付し、結果と添付ファイルをテスト管理システムに送信できます。このように自動で取得された証拠は、誰かが思い出して記録する必要がありません。ガイドには有益な指摘もあります。テスト中に取得した証拠は、後から再構成した証拠より正確だということです。結果と並べて記録を保管する適切な証拠取得は、監査前に誰かが埋めるスプレッドシートよりはるかに優れています。
すべてのテストですべての成果物が必要なわけではありません。ガイドによると、スモークテストではステータスだけで足りる場合があり、受け入れテストでは重要な画面ごとのスクリーンショットが必要になることがあります。回帰テストでは実行記録や環境の詳細が必要になる場合があります。こうしたルールは、テストの種類ごとに一度文書化しておきましょう。そうすれば、監査プロセスが推測に頼ることはなくなります。
スクリーンショット、ログ、動画:どこまであれば十分か
Johner 氏は、時間の節約につながる 3 つの指摘をしています。
- スクリーンショットは法的要件ではありません。 特定の警告が表示されたことなど、何が起きたかを示す方法の一つにすぎません。
- ログは証拠として使えます。 ただし、画面の出力と記録内容が一致していること、結果が要件に照らして評価されていること、テスト自動化ツールが検証済みであること、そして米国の電子記録に適用される 21 CFR Part 11 など、該当する規則を満たしていることが条件です。
- 動画にはコストがあります。 実行の様子は示せますが、結果の評価はできません。確認に時間がかかり、大量のストレージを消費し、回帰テストには使いにくいという欠点があります。
Jama Software の記事で解説されている、コンピュータソフトウェア アシュアランスに関する FDA のドラフトガイダンスも、同じ方向性を示しています。記事によると、スクリーンショットは必須ではなく、システムログ、監査証跡、その他の電子データを記録として使用できます。記録には、想定される用途、リスクの判定、実施したアシュアランス活動、見つかった問題、そして結果が許容可能かどうかの結論を示す必要があります。また、記事ではリスクに基づくアプローチも説明されています。高リスクの機能にはスクリプトに沿ったテストを、低リスクの機能にはスクリプトに依存しないテストを適用します。この記事はドラフト版について述べているため、自社に適用されるガイダンスのバージョンを必ず確認してください。
実務上のルールは、記録の詳細度をリスクに見合ったものにすることです。障害が人、金銭、コンプライアンスに害を及ぼす可能性がある場合は、手順、期待結果、スクリーンショット、ログを含む完全な記録を残してください。
Johner 氏は、ユーザー操作を模倣して反応を記録するテストロボットにも触れており、評価にはAIが役立つ可能性もあるとしています。結果の判定にAIを使う場合は、AIの出力を下書きとして扱い、判定の責任者を人が担うようにしてください。また、AI機能もツールの他の部分と同様に検証が必要です。判断の根拠が記録されていないAIの判定は、弱い証拠にしかなりません。AIによるチェックにも、他のチェックと同じ記録が必要です。その記録の取得も自動化できます。
記録の信頼性を高め、見つけやすくする
証拠を手作業で集めると手間がかかり、特に監査の時期には手作業で添付する過程でヒューマンエラーが起きやすくなります。見つからない証拠や、誰かが編集できた可能性のある証拠は、弱い証拠です。次の 4 つの習慣が役立ちます。
- すべてのテストを要件に紐付けます。 TestCollab は、各テストを検証対象の要件にリンクすることを推奨しています。これにより、どのテストがどの要件を、どのような結果で検証したかが証拠から分かります。トレーサビリティマトリックスを使えば、これらのリンクを自動で作成できます。
- テスト実行の監査証跡を保持します。 履歴を保存して、レビュー担当者がテストのすべての実行を確認できるようにします。最後に成功した実行だけでなく、すべての実行が対象です。修正して再実行した失敗の実行も、履歴に残すべきです。
- 誰が何を変更できるかを管理します。 編集権限を結果と添付ファイルに限定し、テストや期待結果を変更した人を記録します。正式な署名が必要かどうかは、品質管理チームに確認してください。
- レビューゲートを追加します。 TestCollabでは「Needs Evidence Review」のようなカスタムステータスを設定できます。必要な成果物が添付されるまで、テストを完了にできないようにする仕組みです。
同じガイドでは、追跡できる3つの指標を紹介しています。
- 証跡の網羅率: 必要な成果物が揃っているテスト実行の割合です。ガイドの例では、スクリーンショットを求めるポリシーに対して60%という数値は、プロセスに問題があることを示しています。
- 証跡の登録までの時間: 実行後、どれくらい早く成果物が添付されるかです。
- 取得の速さ: 任意の要件について、完全な証跡を5分以内に取り出せるかどうかです。ガイドが推奨している基準はこの5分です。
ガイドでは、記録の保存期間や改ざんの防止方法は扱われていない点に注意してください。これらの答えは、規制当局、契約、社内ポリシーによって決まります。会社がSOC 2などのコンプライアンス フレームワークにも従っている場合は、同じ記録を両方に使えるかどうかをコンプライアンス担当者に確認してください。また、テストのワークフローをインテグレーションでパイプラインに接続し、手作業でコピーしなくても記録が自動的に届くようにしてください。
証跡の作業のうち、自動化すべきものと人が行うべきもの
証跡の自動化は、繰り返しの多い作業で最も効果を発揮します。具体的には、テスト実行からのデータ収集、テストログやスクリーンショットの添付、各結果と要件の紐付けです。私たちの考えでは、こうすることで、監査準備のたびに証跡を手作業で集める無駄な作業を省けます。ただし、特定の統制や監査要件を裏付けているかどうかを判断できるのは人だけなので、裏付けとなる証跡は必ず人がレビューすべきです。テストスクリプト、テストログ、テスト実行の結果は、信頼できる唯一の情報源として1か所に保管してください。品質管理チームが同意するなら、証跡を求める各フレームワークに同じコンプライアンス証跡を使うこともできます。
例: 慌てた対応から5分での取得へ
以下の数値は架空のものです。
QAリーダーは、社内統制レビューの対象となる請求アプリケーションを担当しています。チームは、リリースのたびに60件の自動テストを実行しています。レビュー前に、レビュー担当者が5つの要件を選び、テストを実施した証拠を求めました。
最初の試行は苦労の連続です。テスト結果はパイプラインの出力に残っていますが、その出力は30日で期限切れになります。60回の実行のうち、スクリーンショットがあるのは27回だけで、証跡のカバー率は45パーセントです。どのテストがクレジットノートを対象としているのか、誰も答えられません。チームが回答するまでに2日かかり、その回答にも抜けがあります。
レビューの後、リーダーは4つの変更を行いました。すべてのテストに要件IDを付与しました。パイプラインは、失敗したステップごとにスクリーンショットと実行記録を、重要なテストごとに最終スクリーンショットを自動で添付するようにしました。結果は履歴付きで、レビュー期間全体にわたって保管される場所に移しました。また、成果物が添付されるまで完了できないレビューステータスを設けました。さらにリーダーは、テストの種類ごとに1ページのルールを作成しました。
次のレビューでも、レビュー担当者は再び5つの要件について質問しました。チームは各要件の履歴を、要件ごとに約5分でエクスポートできました。証跡の網羅率は、現在60件中58件です。残りの2件は、ルールで認められているとおり、ステータスのみを記録したスモークテストで、その旨が文書化されています。
よくある間違い
- 合格か不合格かだけを記録する。 レビュー担当者は、何が確認されたのかを判断できません。
- 証跡を後から取得する。 後から再構築した記録は正確性が低く、信頼性が弱く見えます。
- 常にすべてを記録する。 すべてのテストで動画を残すと、ストレージとレビューの時間がかかりますが、そのほとんどは見られません。
- 要件との紐付けがない。 追跡性がなければ、テストが何を証明しているのかを示せません。
- 履歴を破棄する。 レビュー担当者は最終結果だけでなく、失敗した実行についても質問することがあります。
- テストツールを無条件に信頼する。 そのツールの記録が証跡になる場合、記録を作成したツール自体の検証が必要になることがあります。
ソフトウェアが役立つ場面
まずは、テスト管理ツールとCIシステムを使いましょう。結果を保存し、成果物を添付し、履歴を残せます。テストツールやテストプラットフォームの中には、証跡を残す機能を備えたものもあります。その一例がGenta by Cognilloです。ベンダーによると、合否をスクリーンショット、ログ、失敗時の成果物とともに報告でき、ロールベースのアクセス制御、監査ログ、Excel、CSV、PDF形式でのダッシュボードのエクスポートにも対応しているとのことです。これらはベンダーの説明であり、M365.FMでは検証していません。パイロットでツールを比較し、記録が自社のコンプライアンスルールを満たしているかを確認してください。
開示: Cognilloは M365.FM のスポンサーです。
次のステップ
規制対象の機能を一つ選び、その機能のテストについて監査人が確認する必要のある5つの事実を書き出してください。次に、直近のテスト実行をそのリストと照合し、見つかったギャップをもとに、監査向けの自動テスト証跡に関する自社のルールを決めてください。