M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions→ m365con.net

ブログ · Mirko Peters

セルフヒーリングテストとは何か、そしてどこまでが限界か

By · · Updated

セルフヒーリング型のテスト自動化は、壊れたロケーターを実行時に修復します。仕組み、修復できないもの、バグを隠してしまう危険性、そして設定すべきガードレールを解説します。

Automatically translated with AI from the original post. Read the English original

セルフヒーリング型のテスト自動化とは、ID の名称変更のような影響の小さい変更の後も、テストツールがUIテストのロケーターを自動で修復し、テストの実行を継続させる仕組みのことです。本ガイドは、営業資料でこの用語を耳にし、冷静な回答を求めているテスト自動化エンジニア向けです。ヒーリングの仕組み、修復できること・できないこと、実際のバグを隠してしまう可能性、そして安全に使うためのルールを解説します。架空の数値を使った具体例で、メリットとリスクの両方を示します。

重要なポイント

  • セルフヒーリングとは、保存されたロケーターが一致しなくなったとき、テストツールが別の手がかりを使ってUI要素を見つけ直し、テストが失敗せずに継続できるようにする仕組みです。
  • 対象はほぼロケーターに限られ、アサーション、テストの流れ、業務ルール、タイミングの問題は対象外です。そのため、テスト保守のごく一部しかカバーしません。
  • 主なリスクはマスクされたリグレッションです。ツールが実際には欠陥である変更後の要素に適応してしまい、ユーザー体験が壊れているにもかかわらず、テストが成功してしまいます。
  • ベンダーのドキュメントでは、ヒーリングは実行時に行われ、スクリプトは変更されないとされています。そのため、修復されたロケーターも確認し、スクリプトに書き戻す必要があります。
  • 安全に使うためには、すべての修復を記録し、定期的にレビューし、ツールにアサーションを変更させないこと、そして合格率の急な上昇を監視することが重要です。

実際にセルフヒーリングテストとは何か

UIテストは、ロケーターを使ってページ上の各UI要素を見つけます。ロケーターとは、「ID が btn-pay の要素」や「Pay という名前のボタン」といったルールのことです。従来のテスト自動化では、ルールが一致しなくなるたびに担当者がテストスクリプトを編集します。大規模なテストスイートでは、一度の画面刷新で数百のステップが失敗することもあります。テストが失敗するたびにQAエンジニアが確認する必要があり、チームは修復作業に何日も費やすか、手動テストに頼ることになります。

セルフヒーリングとは、ツールがそのルールを自ら修復するという考え方です。そのため、従来のテストを壊してしまう変更があっても、セルフヒーリング型のテストは実行を継続できます。BugBug の記事 Self Healing Test Automation: Hype & Reality では、元のロケーターが機能しなくなったときに、テストがUI要素を識別する方法を自動的に調整する仕組みと定義しています。

ヒーリングは、ツールが製品を理解していることを意味するわけではありません。同じ要素を別の手がかりで見つけ直し、実行を続けようとするだけです。セルフヒーリングは、動作が変わらないままUIが変更されたという、限られた種類の破損を修復するものと捉えてください。

ロケーターのヒーリングの仕組み

詳細はテストフレームワークや製品によって異なりますが、ほとんどのセルフヒーリングの仕組みは同じパターンに従います。

  1. 学習。 テストが成功した実行中に、ツールは各要素について複数の手がかりを記録します。BugBug はこれをフィンガープリントと呼び、ID、テキスト、クラス、ARIA ラベル、ページ構造内の位置などの属性を含むと説明しています。
  2. 検出。 保存されたロケーターで何も見つからない場合でも、ツールはすぐには失敗しません。
  3. 検索。 ツールはページを調べ、記憶している要素に最も似ている要素を探します。より強く安定した手がかりほど重みが大きく、弱い手がかりは代替として扱われます。
  4. 継続と報告。 ツールは新しく一致した要素を使って実行を完了させ、何を行ったかをログに記録します。

BrowserStackのPlaywright向けの自己修復機能に関するドキュメントも、同じ流れを説明しています。元のロケーターで要素を解決できなくなったときに修復が始まり、同じ要素識別子で少なくとも1回は成功した実行があることが必要だとしています。また、修復は実行時に行われ、スクリプト自体は変更されないまま1回の実行を成功させられると書かれています。ページでは、修復されたロケーターをテストに書き戻すことも勧めています。制限事項も挙げられており、修復によって実行中に追加の分析が発生すること、Playwrightのサポートは限定的であること、要素が本当に存在しなくなった場合は回復できないことが記されています。

新しいツールの中には、AIによる自己修復を採用しているものもあります。多くの場合は生成AIをベースにしたモデルが、固定のスコアリングルールではなく、代わりの要素を選択します。T-Planのガイドは、AIを使った修復がテストに確率的な振る舞いを持ち込むと指摘し、信頼性の高い自動化は可能な限り決定的であるべきだと述べています。BugBugは、修復ではAIエージェントがテストロジックを書き換えることも、アプリケーションを本当に理解することもないと補足しています。

マーケティングでは、AIテストが修復を行うとよく言われます。実際には、ソフトウェアテストにおけるAIは、単純な類似度スコアリングから、候補となる要素をランク付けするモデルまで幅広い範囲を指します。ベンダーに対しては、AIが実際に何を判断しているのか、そしてその理由がログに示されるのかを確認するとよいでしょう。AIが誤った要素を選んだ場合、欠陥が見過ごされるおそれがあります。そのため、AIによる選択も、それ以外の修復と同じレビューを受ける必要があります。

自己修復のメリットと、修復できないもの

修復が最も効果を発揮するのは、見た目の変更による影響です。

  • 開発者がIDやCSSクラスの名前を変更したものの、動作は変わらない場合。
  • レイアウトの変化によってボタンの位置が移動した場合。
  • コンポーネントライブラリをアップグレードしてマークアップは変わったものの、画面は変わらない場合。

これらのケースでは、メリットは確かにあります。テストの保守作業が減り、無害なUIの変更によって多数のテストケースが一度に失敗することがなくなります。

ツールの自己修復機能は、探索的テストと並んで、継続的テストのための、より広いテスト自動化戦略の中に位置づけられます。UIの変化に対して、ユーザーインターフェイスのテストカバレッジを守る役割を果たします。単体テストとAPIテストは画面のロケーターを使わないため、修復は一切必要ありません。

修復が役立たないテスト失敗の理由も、ほかに多くあります。BugBugは、修復がほぼ例外なくロケーターにのみ適用され、アサーション、期待値、テストフロー、ビジネスルールには適用されないと述べています。タイミングの問題やテストアーキテクチャの不備も解決しません。待機処理の不安定さや共有データが問題である場合は、まず不安定なテストを別の課題として扱ってください。修復ではこれらは改善されないためです。同じ記事では、ロールベースのシステム、動的なダッシュボード、複数ステップのトランザクション、条件分岐の多い画面では修復が難しいとしており、要素を特定するために必要な文脈が多いほど、修復は困難になるとしています。

適切なロケーターと安定したテストIDがあれば、修復が必要になる前に多くの破損を防げます。Playwrightのベストプラクティスでは、壊れやすいCSSやXPathのパスではなく、ロールやテキストなど、ユーザーが実際に目にするものを反映したロケーターを使うことを推奨しています。この考え方はSeleniumのテストスイートでも役立ちます。

自己修復テスト自動化と、隠れたリグレッションのリスク

最も重要なリスクは、簡単に言えます。適応できる自己修復ツールは、欠陥にも適応してしまうということです。

自己修復テスト自動化に関するT-Planのガイドは、これを「隠れたリグレッション(masked regression)」と呼んでいます。変更された要素が実際には欠陥を表している場合でも、フレームワークが自動的にそれに適応してしまい、ユーザーエクスペリエンスは低下しているのにテストは合格してしまうというものです。これは誤った安心感を生み、自動化への信頼を損なうと付け加えています。さらに、自己修復システムが誤った代替要素を選ぶ可能性があること、修復が積極的であるほど誤マッチングのリスクが高まること、そして一部の失敗は表面化したままにしておくべきであることも指摘しています。

テスト対象のアプリケーションで、不適切なマージの後に、「保存」ボタンが同じ位置の「削除」ボタンに置き換わったとします。「フォームのフッターにあるボタン」を探すテストは、新しいボタンに修復してクリックし、そのまま処理を続けてしまうかもしれません。その結果、テストスイートは成功のままで、バグはそのままリリースされてしまいます。

そのため、合格率が上がったからといって必ずしも良いニュースとは限りません。UIのリリース後に合格率が急上昇しても、それに対応するテストの変更がない場合は、喜ぶ前に自己修復のログを確認してください。

安全に使うためのガードレール

T-PlanとBugBugのガイドも、同様のアドバイスをしています。これは、自己修復を自前で実装する場合でも、自己修復ツールを購入する場合でも当てはまります。

  1. すべての修復を記録する。 変更前のロケーター、変更後のロケーター、マッチングの信頼度、そしてツールがページ上で何を変更したかを記録してください。
  2. 定期的にレビューする。 静かな自動適応を無期限に許可しないでください。リリースごとに修復ログを確認し、各エントリを承認または却下してください。
  3. 可能であれば提案モードを使う。 ツールに修正案を提示させ、採用するかどうかは必ず人が判断するようにしてください。
  4. アサーションは決して変更させない。 修復によって要素の見つけ方は変わってもかまいませんが、テストが何を期待しているか、つまりテストの意図を変えてはなりません。
  5. 修正を反映させる。 修復は実行時の対処にすぎないため、より適切なロケーターでスクリプトを更新してください。
  6. 適用範囲を限定する。 すべての要素を自動で修復させる必要はありません。決済のような重要なフローには、ページの見た目を検証するビジュアルテストなど、より厳格なチェックが必要な場合があります。
  7. 傾向を監視する。 合格率が急に上がった場合は理由を確認してください。自己修復の自動化によって、スイートが実際より健全に見えてしまうことがあるためです。

例:修復の有無によるチェックアウトのリファクタリング

以下の数値は仮のものです。

あるチームは、ブラウザで実行される自動テストを400件保有しています。フロントエンドのリファクタリングによって、チェックアウトページ全体でIDの名前が変更されました。修復を有効にしていない場合、60件のテストがロケーターの問題で失敗し、失敗のたびに確認が必要になります。エンジニアが修復に約2日かかり、その間チームは信頼できる回帰テストの結果を得られません。

修復を有効にした場合、ツールはテストの実行中にロケーターを修復するため、各テストは続行されます。60件のうち55件は、修復されたロケーターで合格しました。QAリーダーはレポートで各修復内容を確認できます。残りの5件は、要素が意図的に削除されていたため失敗し続けました。エンジニアはこの5件に半日を費やし、さらに修復ログの確認に1時間を使いました。

ログを確認すると、2件の修復が誤っているように見えました。住所編集のテストでは、ツールがテストの意図した「住所を保存」ではなく「住所を削除」をクリックしていました。このテストはページが読み込まれたことしか確認していなかったため、合格してしまいました。エンジニアは両方のロケーターを修正し、保存した住所がリストに表示されることを確認する、より強固なアサーションを追加しました。

結果として、約2日かかっていた修正作業は約1日に短縮されました。この削減効果は実在しますが、それはログを人が確認したからこそ得られたものです。そのようなレビューがなければ、2件のテストは誤った対象を検証したまま合格し続けていたでしょう。

よくある間違い

  • 自己修復を優れたロケーターの代わりとみなす。 安定したロール、テキスト、テストIDによるロケーターは、テストの破損を防ぎ、コストもかかりません。
  • 静かに実行させたままにする。 ログを誰も確認しなければ、誤った修復が人知れず積み重なります。
  • 不安定なテストも直ると期待する。 タイミングの問題や不安定なテストデータには、それぞれ別の対処が必要です。
  • 重要なチェックに追加の安全策なしで使用する。 決済や権限のフローには、ビジュアル回帰テストやデータチェックを追加してください。
  • パイロット運用なしにベンダーのテスト保守工数削減の数値を信じる。 導入を決める前に、自社のスイートに対する実際の効果を測定してください。

ソフトウェアが役立つ場面

現在、多くのテスト自動化フレームワーク、クラウドプラットフォーム、その他の自動化ツールが、単純なフォールバックロケーター、類似度スコアリング、AIによる要素の選択など、さまざまな形で自己修復機能を提供しています。ラベルではなく、上記の観点で比較してください。自己修復プラットフォームがすべての修復を表示し、承認を可能にし、スクリプトの変更としてエクスポートできるかを確認してください。適切に選ばれたロケーターと短いレビューの習慣を持つ、素のSeleniumやPlaywrightのスイートも、自己修復ツールの有力な代替手段です。導入を決める前に、不安定な領域1つでパイロット運用を行い、保守時間を比較してください。自然言語の手順から動作する、AIエージェント(エージェント型AIと呼ばれることが多い)をベースにしたツールも、レビューに関して同じ課題を提起します。

次のステップ

エンドツーエンドテストスイートの中で頻繁に壊れる部分を1つ選び、1回のリリースでそこだけ自己修復を有効にして、すべての修復を手動で確認してください。そのうえで、正しかった修復の数に基づいて、自己修復型のテスト自動化をスイートの中でより広く使う価値があるかを判断してください。

Entities in this article

End-to-end testing AI agent Generative AI

Related articles

RSS