M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Що таке тестова автоматизація природною мовою? Пояснення простими словами

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Тестова автоматизація природною мовою дозволяє тестувальникам описувати кроки звичайною англійською, а ШІ виконує їх у браузері. Дізнайтеся, як це працює, які в неї обмеження і як оцінити, чи підходить вона вам.

Automatically translated with AI from the original post. Read the English original

Тестова автоматизація природною мовою означає, що ви пишете тест звичайною англійською, а модель ШІ виконує його в реальному браузері. Замість скрипту, повного селекторів, ви пишете «Click the Log In button» або «Check that the order total shows 49.00». Це пояснення призначене для QA-лідів і тестувальників, які чули цей термін і хочуть зрозуміти, що це таке, як це працює і де це має межі. Ви побачите цю ідею крок за кроком, обмеження, які самі виробники інструментів визнають, і простий спосіб оцінити, чи підходить це вашій команді.

Головне

  • Тестова автоматизація природною мовою означає, що ви описуєте крок тесту простою англійською, а модель ШІ перетворює його на дії в браузері під час запуску тесту.
  • Вона замінює написані вручну селектори та очікування інструкціями на кшталт «click the Log In button», тож тестувальники, які не програмують, можуть писати й читати тести.
  • Постачальники documentують обмеження: широкі або складні інструкції частіше дають збої, а найнадійніші — інструкції з одним кроком.
  • ШІ-інструменти, створені для загальних веб-завдань, можуть вигадувати результати, не перевіряючи реальний застосунок, тому кожен згенерований крок потребує перевірки та чіткого правила «пройдено чи ні».
  • Сприймайте це як спосіб швидше писати наскрізні тести, а не як заміну проєктування тестів, тестових даних або коректних середовищ.

Що означає тестова автоматизація природною мовою

Класичний автоматизований тест інтерфейсу — це код. Розробник або інженер з автоматизації пише кроки та вказує інструменту, як знайти кожен елемент на сторінці, наприклад за ID або CSS-селектором. Тест виконує ті самі кроки щоразу. Коли сторінка змінюється, селектор може перестати знаходити елемент, і тест падає.

За такого підходу тестувальник описує намір. Команда Cypress називає свою команду cy.prompt способом описувати тести звичайною мовою у вигляді текстових рядків усередині файлу тесту. Стаття в блозі Cypress пояснює, що згенеровані кроки можна переглянути та налагодити, а потім перетворити на статичний тестовий код, який можна зберегти.

В основі лежить генеративний ШІ: модель читає текст і сторінку та вирішує, що робити. У більшості інструментів це велика мовна модель, тобто модель ШІ, навчена на великих обсягах тексту. Деякі постачальники називають програмне забезпечення, яке це робить, ШІ-агентом, адже він виконує дії, а не лише відповідає на запитання. Мета однакова в усіх випадках: люди, які знають продукт, можуть писати й читати тести без вивчення мови програмування, тому цей підхід іноді подають як тестування без коду.

Для команд тестування програмного забезпечення це змінює створення тестів, а не сам процес тестування. Проєктування тестів, тестові дані та виконання тестів залишаються тими самими, і як і раніше людина вирішує, який тест-кейс покрити.

У традиційній автоматизації тестування інженери пишуть і підтримують тестовий скрипт для кожного сценарію. Натомість ШІ-інструменти використовують обробку природної мови, щоб читати кожне речення. Деякі постачальники йдуть далі й називають свої інструменти агентними. Посібник від Autosana, який має рекламний характер, визначає різницю так: агентний інструмент інтерпретує мету, сформульовану простою англійською, досліджує живу сторінку, діє та коригує поведінку під час виконання. А безкодовий не означає агентний. Той самий посібник попереджає, що багато продуктів називають себе тестуванням на основі ШІ лише тому, що додали автодоповнення в редактор скриптів. До таких міток варто ставитися обережно та зберігати правило проходження або провалу, яким керуєте ви.

Як виконується тест, написаний інструкцією

Деталі різняться залежно від інструменту, але загальна послідовність схожа. BrowserStack описує свою бета-версію «NL Test Automation Agent» для Selenium, і її сторінка дає чітку картину:

  1. Ви пишете коротку інструкцію. Кожна команда — це одне речення англійською, а не селектор чи код. На сторінці радять починати з дієслова дії, наприклад «Click the Submit button».
  2. ШІ інтерпретує її під час виконання. Кроки автоматизації генеруються під час роботи тесту, тож селектори й очікування не пишуться вручну.
  3. Інструмент виконує дію у браузері. На сторінці наведено типи команд, зокрема клік, введення, пошук, наведення курсора та прокручування.
  4. Інструмент повідомляє результат. Успішні запуски мають журнали успіху, а невдалі — журнали помилок із причиною.

Порівняйте з підходом, який Playwright рекомендує у своїх найкращих практиках: тестуйте те, що користувачі бачать і роблять, і віддавайте перевагу локаторам за роллю, текстом або ідентифікатором тесту, а не XPath чи CSS-селекторам, які ламаються щойно змінюється сторінка. Цей підхід іде далі тією самою думкою. Тестувальник називає те, що побачив би користувач, наприклад «кнопка Log In», а інструмент сам її знаходить.

Де тестування природною мовою допомагає

Цей підхід підходить для одних завдань краще, ніж для інших.

  • Димові перевірки та типові шляхи користувача. Вхід, пошук, додавання в кошик, оформлення замовлення. Це найважливіші сценарії наскрізного тестування, і їх легко описати одним реченням.
  • Команди, де тестувальники не пишуть код. Тестувальник, який знає бізнес-процес, може написати тест і прочитати його.
  • Генерація тестів. Деякі інструменти можуть створити тест із короткого опису. Проєкт тесту та покриття все одно перевіряє людина.

Цей підхід допомагає менше там, де перевірка залежить від точних чисел, складного підготовлення даних або таймінгу, який потребує тонкого контролю, як-от у тестуванні продуктивності. Модульний тест обчислення не потребує ні браузера, ні моделі ШІ, а дослідницькому тестуванню все одно потрібна допитлива людина.

Обмеження, які визнають постачальники

Чесні виробники інструментів називають свої обмеження. Використовуйте їх як чеклист під час оцінки будь-якого продукту.

  • Складні інструкції частіше провалюються. На сторінці BrowserStack сказано, що складні або надто широкі цілі можуть завершитися помилкою UNSUPPORTED_OBJECTIVE, що надійність падає зі зростанням складності команд і що найточнішими є інструкції з одного кроку. Розбивайте довге завдання на короткі кроки.
  • Результати можуть відрізнятися. ШІ-модель інтерпретує кожну інструкцію під час виконання, тому розпливчасте речення може призвести до різних дій у різних запусках. Тримайте кожен крок коротким і конкретним.
  • Функція може бути в бета-версії. Та сама сторінка позначає функцію як бета і зазначає, що підтримувані середовища можуть змінюватися.
  • Вигадані результати — це ризик. У статті Cypress застережено, що багато ШІ-інструментів для браузера створені для загальних веб-завдань, а не для тестування. Вони можуть видавати галюциновані результати, не перевіряючи реальний застосунок, і часто не підтримують налагодження, перевірки (assertions) та життєвий цикл тесту.

Тримайте тести короткими, перевіряйте те, що згенерував ШІ, і вимагайте чітке правило проходження або провалу для кожного кроку.

Збої, супровід і CI

Обслуговування — саме те, де мають окупитися тести звичайною мовою, тож варто спитати, як кожен інструмент працює зі змінами. Посібник Cypress щодо генерації тестів за допомогою ШІ показує один підхід. Він кешує згенерований код, і кеш спільний для різних машин і середовищ, зокрема CI, тому повторний запуск тесту не викликає ШІ знову, якщо тільки підказка або сторінка не робить кеш недійсним. Якщо селектор або його текст змінюється між запусками, інструмент генерує код для цього кроку заново і позначає крок як самовідновлений у журналах. Він попереджає, що відновлення при кожному запуску додає викликів ШІ й уповільнює виконання, і радить знаходити елементи за стабільним видимим текстом. Також можна переглянути згенерований код, де коментарі пов’язують кожну команду з відповідним кроком підказки, і зберегти його замість підказки.

Посібник Autosana пропонує двотижневий пілотний проєкт (proof of concept) на реальних користувацьких сценаріях, зокрема на тих, що вже ламалися, з перевіркою знімків екрана та записів сесій, щоб перевірити, що зробив агент. Виміряних показників відмов там немає, тож проведіть власний пілот.

Чи може він замінити інженерів QA? За цими даними — ні: людина все ще планує, що тестувати, готує дані й вирішує, правильний результат чи ні.

Запитання, які варто поставити перед вибором інструменту

Використовуйте ці запитання під час дзвінка з постачальником або під час пілоту. Вони підходять для будь-якого продукту.

  1. Що саме бачить модель? Вона перевіряє реальну сторінку чи вгадує з тексту вашої інструкції?
  2. Чи можна прочитати й експортувати те, що вона зробила? Потрібен журнал кожного згенерованого кроку та, бажано, фіксований скрипт, який можна зберігати в системі контролю версій.
  3. Як вона визначає, пройдено тест чи ні? Шукайте явні перевірки, які пишете ви, а не лише власне судження моделі.
  4. Де виконується тест і хто може бачити дані? Тестові облікові записи та знімки екрана можуть містити реальну інформацію.
  5. Що містить звіт про помилку? Знімки екрана, журнали та крок, на якому сталася помилка, заощаджують години налагодження.
  6. Чи підходить це до наявного набору тестів? Перевірте свій фреймворк автоматизації, конвеєр і процес ручного тестування.

Приклад: один тест входу тремя способами

Цифри вигадані.

Команда порівнює три способи написати тест входу.

  1. Код із селекторами. Інженер пише близько 12 рядків. Це займає 30 хвилин. Коли розробник перейменовує ID кнопки, тест падає й потребує виправлення.
  2. Природна мова. Тестувальник пише чотири рядки: відкрити сторінку входу, ввести ім’я користувача, ввести пароль, натиснути «Log In» і перевірити, що з’явився заголовок панелі. Це займає 5 хвилин. Тестувальник читає згенеровані кроки, підтверджує, що вони відповідають задуму, і використовує ШІ лише для їх запуску.
  3. Природна мова, а потім експорт. Команда зберігає версію англійською мовою для дослідження й експортує фіксований скрипт для нічного регресійного запуску, як описано в статті Cypress для їхнього власного інструменту.

За місяць дві помилки виявилися реальними багами, а одна виникла через нечітке формулювання: «click the button» знайшло не ту кнопку. Тестувальники переписали крок як «click the Log In button». Точність формулювання важлива так само, як точність селектора.

Типові помилки

  • Довгі, нечіткі інструкції. Використовуйте одну мету на крок і називайте елемент.
  • Довіра до кроків, згенерованих ШІ, без читання. Прочитайте кожен крок принаймні раз і зберігайте журнал.
  • Пропуск очікуваного результату. Тесту потрібна чітка перевірка, наприклад заголовок або підсумкова сума. «Переконайтеся, що все працює» — це не перевірка.
  • Використання для всього. Модульні та інтеграційні перевірки мають бути в коді, ближче до розробників.
  • Впровадження інструменту без пілоту. Спочатку проведіть десять реальних тестів і порівняйте причини відмов.

Як може допомогти програмне забезпечення

Існує кілька видів інструментів для тестування з ШІ. Одні додають команди звичайною англійською до фреймворку на основі коду, як функції Cypress і BrowserStack, згадані вище. Інші є окремими платформами для всієї команди QA. Відкриті фреймворки, як-от Playwright, і далі добре працюють для команд, які віддають перевагу коду.

Genta by Cognillo — приклад окремої платформи. За даними постачальника, тестувальники описують звичайною мовою, що має робити застосунок. Genta запускає тест у браузері на хмарній віртуальній машині та повідомляє про успіх або невдачу, додаючи скриншоти й логи. Постачальник каже, що продукт призначено для QA-лідів, SDET і інженерів автоматизації. Це твердження постачальника. Перш ніж обирати, порівняйте його з іншими варіантами в пілотному проєкті.

Розкриття інформації: Cognillo спонсорує M365.FM.

Наступний крок

Оберіть один стабільний шлях користувача, наприклад вхід і пошук, і опишіть його у п'яти простих кроках англійською. Запустіть цей сценарій в інструменті автоматизації тестів природною мовою та у вашому поточному тестовому фреймворку, а потім порівняйте витрати зусиль, кількість збоїв і якість логів.

Entities in this article

End-to-end testing Generative AI AI agent Genta Automation

Related articles

RSS