M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions→ m365con.net

ブログ · Mirko Peters

自然言語によるテスト自動化とは?わかりやすい解説

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

自然言語テスト自動化では、テスターが平易な英語で手順を書き、AI がブラウザー上でそれを実行します。仕組み、限界、そして評価の方法を解説します。

Automatically translated with AI from the original post. Read the English original

自然言語テスト自動化とは、日常的な英語でテストを書き、AI モデルが実際のブラウザー上でそれを実行する仕組みです。セレクターを並べたスクリプトを書く代わりに、「Log In ボタンをクリックする」や「注文合計が 49.00 と表示されることを確認する」と書きます。この解説は、この用語を耳にして内容を知りたいQAリーダーやテスターを対象としています。コンセプトを段階的に確認し、ツール提供側が明示している限界を理解したうえで、自分のチームに合うかを判断するシンプルな方法を紹介します。

重要なポイント

  • 自然言語テスト自動化とは、テストの手順を平易な英語で記述すると、テスト実行時に AI モデルがそれをブラウザー操作に変換する仕組みです。
  • 手書きのセレクターや待機処理の代わりに「Log In ボタンをクリックする」のような指示を使うため、コードを書けないテスターでもテストを作成・確認できます。
  • ベンダーが明示している限界として、広範囲または複雑な指示ほど失敗しやすく、単一の手順からなる指示が最も安定するという点があります。
  • 汎用的な Web タスク向けに作られた AI ツールは、実際のアプリを確認せずに結果を捏造する場合があるため、生成されたすべての手順にはレビューと明確な合否ルールが必要です。
  • これは、エンドツーエンドのテストをより速く作成する手段として捉えるべきものであり、テスト設計、テストデータ、適切なテスト環境の代わりになるものではありません。

自然言語テスト自動化の意味

従来の UI 自動テストはコードです。開発者や自動化エンジニアが手順を書き、ツールに対して ID や CSS セレクターなど、ページ上の各要素の見つけ方を指定します。テストは毎回同じ手順を実行します。ページが変更されるとセレクターが一致しなくなり、テストが失敗することがあります。

このアプローチでは、テスターは操作方法ではなく意図を記述します。Cypress チームは、cy.prompt コマンドについて、日常的な言語でテストを記述する方法と説明しており、テストファイル内のテキスト文字列として書かれます。Cypress のブログ記事では、生成された手順は検証およびデバッグでき、その後、保存可能な静的なテストコードに書き出せると説明されています。

基盤となる技術は生成 AI です。モデルがテキストとページを読み取り、次に何をするかを判断します。多くのツールでは、大量のテキストで学習した大規模言語モデル、つまり AI モデルが使われています。質問に答えるだけでなく操作を実行するため、この種のソフトウェアをAI エージェントと呼ぶベンダーもあります。目的はいずれの場合も同じです。製品を理解している人が、プログラミング言語を学ばずにテストを作成・確認できるようにすることです。そのため、このアプローチはコードレステストとして販売されることもあります。

ソフトウェアテストのチームにとって、これが変えるのはテストの進め方ではなく、テストの作成方法です。テスト設計、テストデータ、テストの実行は変わらず、どのテストケースを対象にするかを決めるのは依然として人です。

従来のテスト自動化では、エンジニアがフローごとにテストスクリプトを作成し、保守します。一方、AIツールは自然言語処理を使って、各文を読み取ります。一部のベンダーはさらに進んで、自社ツールを"エージェント型"と呼んでいます。ベンダーのガイドであるAutosanaの資料(宣伝目的のもの)は、その違いを次のように定義しています。エージェント型ツールは平易な英語で書かれた目標を解釈し、稼働中のページを探索し、動作しながら途中で調整します。また、コードレス(ノーコード)であることとエージェント型であることは同じではないとしています。同じガイドは、多くの製品が、スクリプトエディターに自動補完機能を追加しただけで「AIによるテスト」を謳っていると警告しています。こうしたラベルには注意し、合否判定のルールは自分でコントロールできる状態に保ってください。

指示文ベースのテストの実行の流れ

詳細はツールによって異なりますが、流れはおおむね似ています。BrowserStackは、Selenium向けのベータ版である"NL Test Automation Agent"を文書化しており、そのページでは全体像が分かりやすく示されています。

  1. 短い指示文を書きます。 各コマンドはセレクターやコードではなく、英語の1文です。ページでは、"Click the Submit button"のように、操作を表す動詞で始めることが推奨されています。
  2. AIが実行時に解釈します。 自動化の手順はテストの実行中に生成されるため、セレクターや待機処理を手作業で書く必要はありません。
  3. ツールがブラウザー上で操作を実行します。 ページでは、クリック、入力、検索、ホバー、スクロールなどのコマンドの種類が示されています。
  4. ツールが結果を報告します。 成功した実行では成功ログが、失敗した実行では理由を含むエラーログが出力されます。

これを、Playwrightがベストプラクティスで推奨しているアプローチと比べてみてください。Playwrightでは、ユーザーが見て操作する内容をテストすることを重視し、ページの変更で壊れやすいXPathやCSSセレクターよりも、ロール、テキスト、テストIDによるロケーターを優先するよう勧めています。指示文ベースのアプローチは、この考え方をさらに推し進めたものです。テスターは、たとえば"the Log In button"のように、ユーザーが目にする要素の名前を書くだけで、ツールがその要素を見つけます。

自然言語によるテストが役立つ場面

このアプローチは、作業によって向き不向きがあります。

  • スモークチェックと一般的なユーザーの操作経路。 ログイン、検索、カートに追加、チェックアウトといった操作です。これらは最も重要なエンドツーエンドテストのフローであり、1文で説明しやすいという利点があります。
  • コーディングをしないテスターがいるチーム。 業務プロセスを理解しているテスターなら、テストを書いたり読んだりできます。
  • テストの自動生成。 短い説明から、テストを生成できるツールもあります。ただし、テストの設計やカバレッジは、人が引き続きレビューする必要があります。

一方、正確な数値、複雑なデータの準備、細かな制御が必要なタイミングに依存するチェックには、あまり向いていません。パフォーマンステストなどがその例です。計算処理の単体テストにはブラウザーもAIモデルも必要ありませんし、探索的テストには今も好奇心を持った人間が欠かせません。

ベンダーが認めている制約

誠実なツールベンダーは、制約を明示しています。どの製品を評価する場合でも、次の内容をチェックリストとして活用してください。

  • 複雑な指示ほど失敗しやすくなります。 BrowserStackのページでは、複雑すぎる目標や範囲が広すぎる目標はUNSUPPORTED_OBJECTIVEエラーで失敗することがあると説明されています。また、コマンドが複雑になるほど信頼性が下がり、1ステップの指示が最も正確であるとしています。長い作業は短いステップに分割してください。
  • 結果にばらつきが出ることがあります。 AIモデルは実行時に各指示を解釈するため、あいまいな文では実行のたびに異なる操作が行われる可能性があります。各ステップは短く、具体的に書いてください。
  • 機能がベータ版の可能性があります。 同じページでは、この機能がベータ版であることが示されており、サポート対象の環境は変更される可能性があるとしています。
  • でっち上げの結果が出るリスクがあります。 Cypressの記事は、多くのAIブラウザーツールがテストではなく一般的なWeb作業向けに作られていると警告しています。実際のアプリを検証せずに、事実に基づかない出力を生成することがあり、デバッグ、アサーション、テストのライフサイクルへの対応も不十分になりがちです。

テストは短く保ち、AIが生成した内容を必ずレビューし、すべてのステップに対して明確な合否判定のルールを求めてください。

失敗、メンテナンス、CI

保守の場面こそ、平易な言葉で書くテストの価値が問われます。そこで、各ツールが変更にどう対応するかを確認しておきましょう。Cypress の AI テスト生成に関するガイドは、ひとつの設計例を示しています。生成されたコードをキャッシュし、そのキャッシュは CI を含む複数のマシンや環境で共有されます。そのため、プロンプトやページが変わってキャッシュが無効にならない限り、テストを再実行しても AI は呼び出されません。実行のたびにセレクターやテキストが変わった場合は、そのステップのコードを再生成し、ログ上で自己修復済みとして記録します。ただし、毎回修復が走ると AI の呼び出しが増え、実行も遅くなると注意しています。そのうえで、安定して目に見える テキストで要素を指定することを勧めています。また、生成されたコードを表示して、各コマンドがどのプロンプトのステップに対応するかをコメントで確認できるほか、プロンプトの代わりにそのコードを保存することもできます。

Autosana のガイドは、実際のユーザーフローで2週間の概念実証を行うことを提案しています。対象には、過去に壊れたことがあるフローも含めます。そして、エージェントが何をしたかを監査するために、スクリーンショットとセッションリプレイを確認します。ただし、測定された失敗率は示されていません。そのため、自社でパイロットを実施して確かめてください。

QA エンジニアを置き換えられるでしょうか。この根拠からは、そうとは言えません。テストすべき内容を計画し、データを準備し、結果が正しいかどうかを判断するのは、今も人の仕事です。

ツールを選ぶ前に確認したい質問

ベンダーとの打ち合わせや、パイロットの場面でこれらの質問を使ってください。どの製品にも当てはまります。

  1. モデルは実際に何を見ているのか。 実際のページを確認しているのか、それとも指示文の文章から推測しているのか。
  2. 実行内容を読み取り、エクスポートできるか。 生成された各ステップのログが必要です。理想的には、バージョン管理で保管できる固定のスクリプトも欲しいところです。
  3. 合否はどのように判断するのか。 モデル自身の判断だけでなく、自分で記述する明示的なチェックがあるかを確認してください。
  4. テストはどこで実行され、誰がデータを見られるのか。 テスト用アカウントやスクリーンショットには、実際の情報が含まれている場合があります。
  5. 失敗レポートには何が含まれるのか。 スクリーンショット、ログ、失敗したステップがあれば、デバッグの時間を何時間も節約できます。
  6. 現在のテストスイートに適合するか。 自動化フレームワーク、パイプライン、手動テストのプロセスを確認してください。

例:ログインテストを3つの方法で書く

以下の数値は架空のものです。

あるチームが、ログインテストを書く3つの方法を比較しました。

  1. セレクターを使ったコード。 エンジニアが約12行を書き、30分かかります。開発者がボタンの ID を変更すると、テストは失敗し、修正が必要になります。
  2. 自然言語。 テスターは4行を書きます。ログインページを開く、ユーザー名を入力する、パスワードを入力する、「Log In」をクリックして、ダッシュボードのタイトルが表示されることを確認する、という内容です。所要時間は5分です。テスターは生成されたステップを読み、内容が一致することを確認します。AI は実行にのみ使います。
  3. 自然言語のあと、エクスポートする。 チームは探索的な確認用に平易な英語版を残し、夜間の回帰テストには固定のスクリプトをエクスポートして使います。Cypress の記事が自社ツールについて説明しているのと同じ方法です。

1か月の間に、実際のバグによる失敗が2件、あいまいなステップによる失敗が1件ありました。「click the button」が誤ったボタンに一致していたのです。そこで「click the Log In button」と書き直しました。セレクターを正確にすることと同じくらい、文の正確さも重要です。

よくある間違い

  • 長くあいまいな指示を書く。 1ステップにつき1つの意図に絞り、要素の名前を明記してください。
  • AI が生成したステップを読まずに信頼する。 すべてのステップを少なくとも1回は読み、ログを保管してください。
  • 期待される結果を省く。 テストには、タイトルや合計金額のような明確なチェックが必要です。「正しく動作することを確認する」はチェックになりません。
  • 何にでも使おうとする。 ユニットテストや結合テストのチェックは、開発者の近くにあるコードで書くべきです。
  • パイロットなしでツールを導入する。 まず実際のテストを10件実行し、失敗の原因を比較してください。

ソフトウェアが役立つ場面

AI テストツールにはいくつかの種類があります。Cypress や上記の BrowserStack の機能のように、既存のコードベースのフレームワークに平易な英語のコマンドを追加するものがあります。一方で、QA チーム全体を対象とした独立したプラットフォームもあります。コードを重視するチームにとっては、Playwright などのオープンソースのフレームワークも引き続き有効です。

Genta by Cognilloは、独立したプラットフォームの一例です。ベンダーによると、テスターはアプリケーションにどのような動作をさせたいかを平易な言葉で記述します。Genta はクラウド上の仮想マシンでブラウザーのテストを実行し、合格か不合格かを、スクリーンショットとログと合わせて報告します。ベンダーは、QA リーダー、SDET、自動化エンジニアを対象としていると述べています。以上はベンダーの説明です。判断する前に、パイロットで他の選択肢と比較してください。

開示: Cognillo は M365.FM のスポンサーです。

次のステップ

ログインや検索など、安定して動作するユーザーの操作経路を一つ選び、平易な英語で5つのステップとして書き出します。それを自然言語によるテスト自動化ツールと、現在お使いのテストフレームワークの両方で実行し、作業工数、失敗の内容、ログの品質を比較してください。

Entities in this article

End-to-end testing Generative AI AI agent Genta Automation

Related articles

RSS