Что такое автоматизация тестов на естественном языке? Простое объяснение
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Автоматизация тестов на естественном языке позволяет тестировщикам писать шаги простым английским языком, а ИИ выполняет их в браузере. Разберёмся, как это работает, каковы его ограничения и как оценить подход.
Automatically translated with AI from the original post. Read the English original
Автоматизация тестов на естественном языке означает, что вы пишете тест обычным английским языком, а модель ИИ выполняет его в реальном браузере. Вместо скрипта, полного селекторов, вы пишете «Click the Log In button» или «Check that the order total shows 49.00». Это объяснение предназначено для руководителей QA и тестировщиков, которые слышат этот термин и хотят понять, что это такое, как это работает и где проходят границы возможностей. Вы увидите идею по шагам, ограничения, которые сами заявляют разработчики инструментов, и простой способ оценить, подходит ли это вашей команде.
Ключевые выводы
- Автоматизация тестов на естественном языке означает, что вы описываете шаг теста простым английским языком, а модель ИИ превращает его в действия в браузере при запуске теста.
- Она заменяет написанные вручную селекторы и ожидания инструкциями вроде «Click the Log In button», поэтому тестировщики, которые не пишут код, могут создавать и читать тесты.
- Поставщики документируют ограничения: широкие или сложные инструкции чаще приводят к сбоям, а инструкции из одного шага надёжнее всего.
- ИИ-инструменты, созданные для общих веб-задач, могут выдумывать результаты, не проверяя реальное приложение, поэтому каждый сгенерированный шаг нужно проверять и задавать чёткое правило «пройден/не пройден».
- Рассматривайте это как способ быстрее писать сквозные тесты, а не как замену проектированию тестов, тестовым данным или корректным окружениям.
Что означает автоматизация тестов на естественном языке
Классический автоматизированный тест пользовательского интерфейса — это код. Разработчик или инженер по автоматизации пишет шаги и указывает инструменту, как найти каждый элемент на странице, например по ID или CSS-селектору. Тест выполняет одни и те же шаги каждый раз. Когда страница меняется, селектор может перестать находить элемент, и тест падает.
При таком подходе тестировщик описывает намерение. Команда Cypress описывает свою команду cy.prompt как способ описывать тесты обычным языком, в виде текстовых строк внутри тестового файла. В статье в блоге Cypress говорится, что сгенерированные шаги можно проверить и отладить, а затем превратить в статический тестовый код, который можно сохранить.
В основе лежит генеративный ИИ: модель читает текст и страницу и решает, что делать. В большинстве инструментов это большая языковая модель, то есть модель ИИ, обученная на больших объёмах текста. Некоторые поставщики называют программное обеспечение, которое это делает, ИИ-агентом, потому что оно выполняет действия, а не только отвечает на вопросы. Цель во всех случаях одна: люди, которые знают продукт, могут писать и читать тесты, не изучая язык программирования, поэтому такой подход иногда продают как тестирование без кода.
Для команд тестирования программного обеспечения это меняет создание тестов, но не сам процесс тестирования. Проектирование тестов, тестовые данные и выполнение тестов остаются прежними, и решение о том, какой тест-кейс покрыть, по-прежнему принимает человек.
В традиционной автоматизации тестирования инженеры пишут и поддерживают тестовый скрипт для каждого сценария. Инструменты на основе ИИ вместо этого используют обработку естественного языка, чтобы читать каждое предложение. Некоторые поставщики идут дальше и называют свои инструменты «агентными». В руководстве одного поставщика, Autosana, которое носит рекламный характер, описано различие: агентный инструмент интерпретирует цель, сформулированную обычным английским языком, исследует живую страницу, выполняет действия и корректирует их по ходу прогона, а «без кода» и «агентный» — не одно и то же. То же руководство предупреждает, что многие продукты заявляют о тестировании с ИИ только потому, что добавили автодополнение в редактор скриптов. К таким ярлыкам стоит относиться внимательно и сохранять за собой правило определения успешного или неуспешного результата.
Как работает тест, заданный письменной инструкцией
Детали зависят от инструмента, но общая схема похожа. BrowserStack документирует свою бета-версию «NL Test Automation Agent» для Selenium, и её страница даёт ясное представление о процессе:
- Вы пишете короткую инструкцию. Каждая команда — это одно предложение на английском языке, а не селектор и не код. На странице рекомендуется начинать с глагола действия, например «Click the Submit button».
- ИИ интерпретирует её во время выполнения. Шаги автоматизации формируются во время прогона теста, поэтому селекторы и ожидания не нужно писать вручную.
- Инструмент выполняет действие в браузере. На странице перечислены типы команд, такие как click, type, search, hover и scroll.
- Инструмент сообщает результат. Успешные прогоны дают журналы успеха, а неуспешные — журналы ошибок с указанием причины.
Сравните это с подходом, который Playwright рекомендует в своих рекомендациях по лучшим практикам: тестируйте то, что пользователь видит и делает, и предпочитайте локаторы по роли, тексту и тестовому идентификатору XPath- или CSS-селекторам, которые ломаются при изменении страницы. Этот подход развивает ту же идею дальше. Тестировщик называет то, что увидел бы пользователь, например «кнопку Log In», а инструмент находит её сам.
Где тестирование на естественном языке помогает
Этот подход подходит для одних задач лучше, чем для других.
- Смоук-проверки и типичные пути пользователя. Вход, поиск, добавление в корзину, оформление заказа. Это наиболее важные сценарии сквозного тестирования, и их легко описать одним предложением.
- Команды, где тестировщики не пишут код. Тестировщик, который знает бизнес-процесс, может написать тест и прочитать его.
- Генерация тестов. Некоторые инструменты могут создать тест по короткому описанию. Проектирование теста и покрытие всё равно должен проверять человек.
Подход помогает меньше там, где проверка зависит от точных чисел, сложной подготовки данных или тайминга, требующего тонкого контроля, например в тестировании производительности. Модульному тесту расчёта не нужны ни браузер, ни модель ИИ, а исследовательскому тестированию по-прежнему нужен любознательный человек.
Ограничения, которые признают поставщики
Честные производители инструментов перечисляют свои ограничения. Используйте их как чек-лист при оценке любого продукта.
- Сложные инструкции чаще дают сбой. На странице BrowserStack сказано, что сложные или слишком широкие цели могут завершиться ошибкой
UNSUPPORTED_OBJECTIVE, что надёжность падает по мере усложнения команд и что наиболее точны одношаговые инструкции. Разбивайте длинную задачу на короткие шаги. - Результаты могут различаться. ИИ-модель интерпретирует каждую инструкцию во время выполнения, поэтому расплывчатое предложение может привести к разным действиям в разных прогонах. Делайте каждый шаг коротким и конкретным.
- Функция может быть в бета-версии. На той же странице функция помечена как бета-версия, и список поддерживаемых сред может измениться.
- Выдуманные результаты — это риск. Статья Cypress предупреждает, что многие ИИ-инструменты для браузера созданы для общих веб-задач, а не для тестирования. Они могут выдавать галлюцинированный результат, не проверяя реальное приложение, и часто не поддерживают отладку, утверждения (assertions) и жизненный цикл теста.
Держите тесты короткими, проверяйте то, что сгенерировал ИИ, и требуйте чёткого правила успешного или неуспешного результата для каждого шага.
Сбои, поддержка и CI
Обслуживание — это то, где тесты на простом языке должны окупиться, поэтому спросите, как каждый инструмент справляется с изменениями. Руководство Cypress по генерации тестов с помощью ИИ показывает один подход. Сгенерированный код кэшируется, и кэш общий для разных машин и окружений, включая CI, поэтому повторный запуск теста не вызывает ИИ снова, если только подсказка или страница не делают кэш недействительным. Когда селектор или его текст меняется между запусками, инструмент заново генерирует код для этого шага и помечает шаг в логах как самовосстановленный. Cypress предупреждает, что восстановление при каждом запуске добавляет вызовы ИИ и замедляет выполнение, и советует выбирать элементы по стабильному видимому тексту. Также можно просмотреть сгенерированный код, где комментарии связывают каждую команду с шагом подсказки, и сохранить его вместо подсказки.
Руководство Autosana предлагает двухнедельное пилотное испытание (proof of concept) на реальных пользовательских сценариях, включая те, которые уже ломались раньше, с проверкой скриншотов и записей сессий, чтобы аудировать действия агента. Измеренных показателей отказов в нем нет, поэтому проведите собственный пилот.
Может ли он заменить инженеров по QA? По этим данным — нет: люди по-прежнему планируют, что тестировать, готовят данные и решают, верен ли результат.
Вопросы, которые стоит задать перед выбором инструмента
Используйте эти вопросы на звонке с вендором или в пилоте. Они подходят для любого продукта.
- Что именно видит модель? Она изучает реальную страницу или угадывает по тексту вашей инструкции?
- Могу ли я прочитать и экспортировать то, что она сделала? Нужен журнал каждого сгенерированного шага и, в идеале, фиксированный скрипт, который можно хранить в системе контроля версий.
- Как она решает, пройден тест или нет? Ищите явные проверки, которые пишете вы, а не только собственное суждение модели.
- Где выполняется тест и кто может видеть данные? Тестовые учетные записи и скриншоты могут содержать реальную информацию.
- Что входит в отчет об ошибке? Скриншоты, логи и упавший шаг экономят часы отладки.
- Подходит ли он к нашему текущему набору тестов? Проверьте свою среду автоматизации, конвейер и процесс ручного тестирования.
Пример: один тест входа тремя способами
Цифры вымышленные.
Команда сравнивает три способа написать тест входа в систему.
- Код с селекторами. Инженер пишет около 12 строк. Это занимает 30 минут. Когда разработчик переименовывает ID кнопки, тест падает и требует исправления.
- Естественный язык. Тестировщик пишет четыре строки: откройте страницу входа, введите имя пользователя, введите пароль, нажмите «Log In» и проверьте, что появился заголовок панели управления. Это занимает 5 минут. Тестировщик читает сгенерированные шаги, подтверждает их соответствие и использует ИИ только для запуска.
- Естественный язык, затем экспорт. Команда оставляет версию на простом английском для исследовательского тестирования и экспортирует фиксированный скрипт для ночного регрессионного прогона, как описано в статье Cypress для их собственного инструмента.
За месяц два сбоя вызваны реальными багами, а один — расплывчатым шагом: «click the button» нашел не ту кнопку. Они переписали его как «click the Log In button». Точность формулировки важна так же, как точность селектора.
Распространённые ошибки
- Написание длинных и расплывчатых инструкций. Используйте одно намерение на шаг и называйте элемент.
- Доверие сгенерированным шагам без чтения. Прочитайте каждый шаг хотя бы один раз и сохраняйте журнал.
- Пропуск ожидаемого результата. Тесту нужна четкая проверка, например заголовок или итоговая сумма. «Убедитесь, что всё работает» проверкой не является.
- Использование для всего подряд. Модульные и интеграционные проверки относятся к коду, рядом с разработчиками.
- Внедрение инструмента без пилота. Сначала проведите десять реальных тестов и сравните причины сбоев.
Как может помочь программное обеспечение
Существует несколько видов инструментов ИИ-тестирования. Одни добавляют команды на простом английском к фреймворку на основе кода, как функции Cypress и BrowserStack, упомянутые выше. Другие — отдельные платформы для всей команды QA. Открытые фреймворки, такие как Playwright, по-прежнему хорошо подходят командам, которые предпочитают код.
Genta by Cognillo — один из примеров отдельной платформы. По словам поставщика, тестировщики описывают простым языком, что должно делать приложение, а Genta запускает тест в браузере на облачной виртуальной машине и сообщает о результате «пройден» или «не пройден», с скриншотами и журналами. Поставщик заявляет, что продукт ориентирован на руководителей QA, SDET и инженеров по автоматизации. Это утверждения поставщика. Прежде чем принимать решение, сравните его с другими вариантами в пилотном проекте.
Раскрытие информации: Cognillo спонсирует M365.FM.
Следующий шаг
Выберите один стабильный пользовательский сценарий, например вход в систему и поиск, и опишите его в пяти простых шагах на английском языке. Запустите его в инструменте автоматизации тестирования на естественном языке и в вашем текущем тестовом фреймворке, затем сравните трудозатраты, сбои и качество журналов.