AI が最も役立つテストはどこか:単体・統合・E2E テスト
By Mirko Peters · · Updated
単体テスト、統合テスト、E2E テストの違い。それぞれが何を検証するか、どれだけ書くべきか、そして AI が最も役立つ場面を、単体テストの下書きからブラウザーフローのレビューまで解説します。
Automatically translated with AI from the original post. Read the English original
単体・統合・E2E テストの違いは、あらゆるソフトウェア テスト戦略の根底にある問いです。各レベルは検証する対象が異なり、コストも異なり、得られる確からしさの種類も異なります。このガイドは、AI をソフトウェア テストのどこに組み込むべきかを問われている QA リーダー向けです。各レベルが何を検証するか、健全なスイートにはそれぞれ何本のテストが含まれるべきか、AI が最も役立つ場面、そして AI がリスクを高める場面を確認します。架空の数値を使った具体例では、あるチームがどこに労力を注ぐかを決めた過程を示します。
重要なポイント
- 単体テストはコードの一部を検証し、統合テストはアプリケーション外部の要素との連携を検証します。E2E テストは、インターフェイスを通じてデプロイ済みのシステムを操作します。
- テストのピラミッドでは、小さく高速な単体テストを多数書き、粒度の粗いテストをいくつか書き、高レベルのテストは極少数にとどめることを推奨しています。高レベルのテストほど実行が遅く、保守の手間もかかるからです。
- AI が最も役立つのは、単体テストや API テストの下書きのように出力が小さく確認しやすい作業であり、かつ人が生成されたすべてのテストをレビューできる場面です。
- AI が生成したテストは、動作を検証しないままカバレッジを水増しすることがあります。たとえば、コードを実行するだけで、アサーションが弱いか欠けているテストがこれに当たります。
- どのレベルでも AI の出力は下書きとして扱ってください。あいまいなフロー、視覚的なチェック、アクセシビリティのレビューには、人による判断を残しておくことが大切です。
単体・統合・E2E テストが検証する内容
Martin Fowler の記事 The Practical Test Pyramid に、明確な定義が示されています。
- 単体テストは、テスト対象であるコードベース内の特定の単位が意図どおりに動作することを確認します。3 種類のテストの中で最も対象範囲が狭いものです。開発者が最も頻繁に書くのは、この レベルの 単体テスト です。
- 統合テストは、データベース、ファイル システム、別個のサービスなど、アプリケーションの外側にある要素との連携を確認します。Fowler は、一度に 1 つの外部連携ポイントだけを検証する、範囲の狭いテストを推奨しています。これは 統合テスト の役割です。
- E2E テストは、デプロイ済みのアプリケーションをユーザー インターフェイスから検証し、統合されたシステム全体を対象にします。Fowler はこれを広範なスタック テストと呼んでいます。これが E2E テスト です。
単体テストと統合テストの主な違いは対象範囲です。前者はコードの一部を対象にし、後者はその部分同士の連携を対象にします。機能テストやシステム テストも外側からソフトウェアを検証します。E2E テストは、ブラウザーで操作する形のテストです。用語の定義は、チーム内で統一しておきましょう。
開発者は通常、単体テストを書き、コミットのたびに実行します。各レベルの違いは、それぞれが答える問いで覚えると分かりやすくなります。単体テストは「この関数は正しく動作するか」を問います。統合テストは「この別のシステムと正しくやり取りできているか」を問います。E2E テストは「ユーザーがこの一連の操作を完了できるか」を問います。
各レベルのテストは何本必要か:テストのピラミッド
テストピラミッドは、この釣り合いを説明するときによく使われる考え方です。Fowler's の助言は、小さく高速なユニットテストを大量に書き、粒度の粗いテストを一部に加え、ハイレベルなテストは非常に少なくする、というものです。彼はこれをルールとして示しており、レベルが上がるほどテストの数は減らすべきだとしています。
理由はコストです。この記事によると、ユニットテストは非常に高速に実行でき、実際の外部コンポーネントが関わるため統合テストははるかに遅くなりがちです。エンドツーエンドテストも実行にかなり時間がかかります。さらに、エンドツーエンドテストは多くの保守を必要とし、不安定(フレーキー)であることで悪名高いとされています。
こうした不安定さは大規模に測定できます。Google Testing Blog の投稿 Flaky Tests at Google and How We Mitigate Them では、テスト実行のおよそ 1.5 パーセントが不安定な結果を返し、テストのほぼ 16 パーセントに何らかの不安定さがあったと報告されています。
3 つのレベルはいずれも、変更のたびに再実行されるため、リグレッションテストに役立ちます。
Fowler は、その逆の構造についても警告しています。彼はこれを「テストのアイスクリームコーン」と呼んでいます。上に手動テストやブラウザーレベルのテストが多く、下のユニットテストが少ない構造です。彼はこれを、保守が悪夢で、実行にも時間がかかりすぎると表現しています。テストスイートがこのような形になっている場合、AI を追加しても構造は改善しません。遅いテストが速く大量に生成されるだけになるかもしれません。
ユニットテストと統合テスト:それぞれをいつ使うか
TestRail によるユニットテストと統合テストの比較では、実務上の違いが挙げられています。ユニットテストは実装が素早く、実行も高速で、通常は開発者が担当します。統合テストには、多くの場合 QA エンジニアやテスターが関わります。ユニットテストはモックやスタブを使って外部システムを避けますが、統合テストは実際の相互作用に焦点を当てます。ただし、外部サービスが利用できない、信頼性が低い、またはコストが高い場合には、モックを使うこともあります。
ユニットテストの利点は、素早いフィードバック、バグの早期発見、よりモジュール化されたコードです。弱点は、ユニットテストのスイートだけでは各部分が連携して動作するかはわからないことです。その点を補うのが統合テストです。TestRail は、開発の初期段階では独立したロジックにユニットテストを使い、モジュール、データベース、サードパーティのサービスにまたがるワークフローには統合テストを使うことを勧めています。統合テストの実行方法として、2 つの方式が挙げられています。開発後にすべてをまとめてテストする「ビッグバン」方式は、問題の切り分けが難しくなります。一方、小さなグループを段階的にテストする「インクリメンタル」方式は、問題の箇所を特定しやすくなります。
Fowler は、テストのレベルを決めるためのルールを示しています。上位レベルのテストがエラーを検出し、下位レベルのテストが一つも失敗していない場合は、下位レベルのテストを書く、というものです。テストはピラミッドの下の方へできるだけ押し下げ、下位レベルで既にカバーされている内容と重複する上位レベルのテストは削除します。包括的なテスト戦略では 3 つのレベルすべてを使い、上位の各レベルは下位のレベルではカバーできない内容に焦点を当てます。
よく出てくる関連する質問が 2 つあります。Fowler は、中間層を統合テストと呼ぶ人もいれば、コンポーネントテストと呼ぶ人もいると述べ、名称そのものより用語の合意が重要だと指摘しています。また、ユーザーの視点からソフトウェアを検証する受け入れテストは、どのレベルにも置けるため、ピラミッドとは直交する概念だとも述べています。したがって、ユニットテストとエンドツーエンドテストは、対立する流派ではなく、一つの尺度の両端にあたります。
これらのテストは、パイプラインで自動化しやすいものです。TestRail によると、ユニットテストは通常、プッシュdirect後やプルリクエストの直後など早い段階で実行され、統合テストはアプリがステージングまたはテスト環境にデプロイされた後、より遅い段階で実行されます。両者を合わせると、品質ゲートを構成します。
AI が最も役立つ場面
生成 AI を基盤とするツールはそれぞれ異なりますが、ベンダーのガイダンスには共通のパターンが見られます。Parasoft の記事 ソフトウェアテストで AI がどのように使われているかでは、変更が新しいうちにユニットテストと API テストを生成することを勧めています。また、API テストの作成、アサーションの提案、データシナリオの構築において AI が支援できると述べています。さらに、低速、高コスト、または利用不能な依存関係をシミュレートするサービス仮想化が、統合テストを支えることにも触れています。
これはテストピラミッドと整合しています。以下の理由は筆者自身の推論であり、測定に基づくものではありません:
- 小さな出力は、レビューしやすい。 生成された単体テストは数行程度です。レビュー担当者は、それを読み、実行し、正しいものを検証しているかを1分ほどで判断できます。
- 素早いフィードバックで、不適切なテストが分かる。 誤った単体テストは、すぐに失敗するか成功します。そのため、問題を同じ日に見つけられます。
- 入力と出力が明確。 関数やAPI呼び出しには入力と出力が定義されているため、ツールが正確な対象を把握できます。
- 反復的なケースが多い。 単体テストでは境界値やエラーパスが繰り返し現れるため、下書きを使えば入力の手間が省けます。
AIには下書きを任せ、最終的な責任は人が持ちます。生成されたテストを受け入れた人は、手書きのテストと同様に、そのテストが何を検証しているかに責任を負います。
結合テストでは、AIがテストケースやテストデータの下書きを作成したり、依存関係をシミュレートしたりできます。ただし、他のシステムとの契約が何であるかは人が決める必要があります。結合テストは、その契約を検証するものだからです。
エンドツーエンドテストのレベルでは、AIは別の形で役立ちます。平易な言葉で書かれた手順をブラウザー上で実行するツールにより、ユーザージャーニーテストの作成コストを下げられます。ただし、実行コストが変わるわけではなく、合格・不合格の明確なルールが不要になるわけでもありません。
AIの効果が最も小さい場面と注意点
Parasoftの記事は、限界について率直に述べています。AIが生成したすべての変更には人によるレビューを維持し、AIの出力は下書きとして扱うべきだとしています。また、AIを適切に使わないと、動作を検証しないままカバレッジを水増しする可能性があり、実行はされるものの、アサーションが弱いか欠けている空のテストについても警告しています。同じ入力でも実行のたびに出力が変わることは、注意すべきサインとして挙げられています。さらに、安全性が重要な変更の承認はAIにはできず、あいまいなフローや視覚的な確認、アクセシビリティのレビューで人の判断に取って代わることもできないと付け加えています。データについては、機密情報や規制対象のデータを含むプロンプトを避けるよう警告しています。
AIを使ったテスト戦略では、次の4つの点を確認する必要があります。
- カバレッジは上がっても、何も捕捉しない。 カバレッジの数値だけでなく、アサーションを確認してください。
- 実装をなぞるテスト。 実装の内容を繰り返すだけのテストは、ロジックが誤っていても成功してしまいます。
- 出力が安定しない。 生成されたテストが実行ごとに変わる場合は、レビュー済みのバージョンを固定してください。
- データが社外に出てしまう。 機密情報、顧客データ、規制対象のデータをプロンプトに貼り付けないでください。
例:あるチームがどこに労力を費やしたか
ここに示す数値は架空のものです。
あるチームには自動テストが600件あります。内訳は単体テスト450件、結合テスト110件、エンドツーエンドテスト40件です。ブラウザーテストはパイプライン全体の60分のうち50分を占め、毎週6件がランダムに失敗しています。
QAリーダーは3つの施策を実施しました。まず、新しいコードに対してAIアシスタントが単体テストの下書きを作成し、開発者がすべての下書きをレビューするようにしました。最初の1か月でアシスタントは120件の下書きを作成しました。アサーションが弱いという理由でレビュー担当者が30件を却下したため、90件がテストスイートに加えられました。
2つ目として、AIが結合テストのテストデータを下書きし、契約の部分は引き続き手書きとしました。
3つ目として、40件のエンドツーエンドテストにはAIの支援を使いませんでした。リーダーは、より高速な下位レベルのテストで既にカバーされている重複した6件を削除しました。その結果、パイプラインは60分から48分に短縮されました。AIの労力はレビューのコストが最も低い領域に投入され、時間のかかる層は小さくなりました。
よくある間違い
- ブラウザーテストを増やすためにAIを使う。 遅く不安定な層が増え、パイプラインはさらに遅くなります。
- 生成されたテストを読まずに受け入れる。 アサーションが弱いと、安全性を伴わないカバレッジだけが得られます。
- テストの件数で成功を測る。 代わりに、検出した欠陥の数と削減できた時間を測定してください。
- 結合テストを省略する。 単体テストといくつかのジャーニーテストだけでは、システム間の壊れた契約を見逃す可能性があります。
- 機密データをプロンプトに貼り付ける。 最初のプロンプトを入力する前に、ポリシーを設定してください。
ソフトウェアが役立つ場面
既存のテストフレームワークとCIシステムは、すでに実行時間と失敗率を報告しているはずです。まずはそこから始め、数値をテストのレベルごとにグループ化してください。コードレビューツールを使うと、AIの下書きを確認しやすくなります。レビュー担当者は、生成されたテストをコードと並べて確認できるためです。カバレッジツールは、アサーションのチェックと合わせて読み取り、カバレッジを品質と取り違えないようにしてください。ソフトウェアテストの1つのレベルにAIアシスタントを最初に導入し、パイロットを広げる前に、レビュー時間、却下された下書き、見逃された欠陥を比較してください。
次のステップ
各テストレベルのテスト件数を数え、それぞれの実行時間とフレーク率を記録してください。そのうえで、AIパイロットの対象とする1つのレベルを選び、測定する項目を書き出してください。そうすれば、単体テストと結合テストとエンドツーエンドテストのどれを優先するかという次回の議論が、データに基づいたものになります。