Самолікувальні тести: що означає цей термін і де він перестає працювати
By Mirko Peters · · Updated
Самолікувальна автоматизація тестів виправляє зламані локатори під час виконання. Дізнайтеся, як це працює, що воно не може виправити, як воно може приховувати помилки та які запобіжники варто налаштувати.
Automatically translated with AI from the original post. Read the English original
Самолікувальна автоматизація тестів означає, що інструмент сам виправляє зламаний локатор, тож UI-тест продовжує працювати після безпечної зміни, наприклад перейменування ID. Цей посібник призначений для інженерів автоматизації тестування, які чули цей термін на презентації продавця і хочуть тверезої відповіді. Ви дізнаєтеся, як працює самолікування, що воно може виправити, а що ні, як воно може приховати справжню помилку та які правила роблять його безпечним. Приклад із вигаданими цифрами показує і користь, і ризик.
Головне
- Самолікування означає, що інструмент тестування знаходить UI-елемент за іншими ознаками, коли збережений локатор перестає відповідати, тож тест може продовжити роботу замість того, щоб завершитися з помилкою.
- Воно майже завжди працює лише з локаторами, а не з перевірками, сценаріями тестів, бізнес-правилами чи проблемами з таймінгом, тому охоплює вузьку частину супроводу тестів.
- Головний ризик — прихована регресія: інструмент адаптується до зміненого елемента, який насправді є дефектом, і тест проходить, тоді як досвід користувача вже зламаний.
- Документація постачальника каже, що лікування відбувається під час виконання і скрипт залишається незмінним, тому самолікувальні локатори все одно потрібно переглядати та записувати назад у код.
- Безпечне використання означає фіксувати кожне лікування, переглядати їх за графіком, ніколи не дозволяти інструменту змінювати перевірки і стежити за різкими стрибками відсотка успішних запусків.
Що насправді означає самолікувальний тест
UI-тест знаходить кожен елемент інтерфейсу на сторінці за допомогою локатора. Локатор — це правило на кшталт «елемент з ID btn-pay» або «кнопка з назвою Pay». У традиційній автоматизації тестування людина редагує скрипти щоразу, коли правило перестає працювати. У великому наборі тестів одне перероблення дизайну може зробити червоними сотні кроків. Щоразу, коли тест завершується з помилкою, інженер QA мусить його переглядати, і команда витрачає дні на виправлення або повертається до ручного тестування.
Самолікування — це ідея, що інструмент сам виправляє це правило, тож самолікувальний тест переживає зміну, яка зламала б традиційний тест. У статті BugBug Self Healing Test Automation: Hype & Reality воно визначається як механізми, які автоматично коригують спосіб, яким тест ідентифікує елементи інтерфейсу, коли вихідний локатор перестає працювати.
Самолікування не означає, що інструмент розуміє ваш продукт. Це означає, що інструмент намагається знайти той самий елемент знову за іншими ознаками й далі продовжує виконання. Ставтеся до самолікувального тесту як до виправлення для одного вузького типу поломок: змін інтерфейсу, які залишають поведінку незмінною.
Як працює самолікування локаторів
Деталі відрізняються залежно від фреймворку тестування та продукту, але більшість механізмів самолікування працюють за однаковою схемою.
- Навчання. Під час успішних запусків тестів інструмент записує кілька ознак для кожного елемента. BugBug описує це як відбиток: атрибути на кшталт ID, тексту, класів, ARIA-міток і положення в структурі сторінки.
- Виявлення. Коли збережений локатор нічого не знаходить, інструмент не завершує роботу з помилкою одразу.
- Пошук. Він переглядає сторінку в пошуках елемента, який найбільше схожий на той, що він запам’ятав. Сильніші та стабільніші ознаки важать більше, а слабші слугують запасним варіантом.
- Продовження і звіт. Він використовує новий збіг, завершує запуск і фіксує в журналі, що саме зробив.
Документація BrowserStack щодо її функції самовідновлення з Playwright описує той самий принцип. Там сказано, що відновлення починається, коли вихідний локатор більше не знаходить елемент, і що для нього потрібен принаймні один попередній успішний запуск із тим самим ідентифікатором елемента. Також зазначено, що відновлення відбувається під час виконання і дозволяє одному запуску завершитися успішно, при цьому сам скрипт залишається незмінним. Сторінка радить внести відновлений локатор назад у свій тест. Вона також перелічує обмеження: відновлення додає аналіз під час запуску, підтримка Playwright описана як обмежена, і воно не може відновити роботу, якщо елемент справді більше не існує.
Деякі новіші інструменти використовують самовідновлення на основі ШІ: модель, часто побудована на генеративному ШІ, вибирає заміну елемента замість фіксованого правила оцінювання. Посібник T-Plan зазначає, що відновлення з допомогою ШІ вносить у тестування імовірнісну поведінку, і що надійна автоматизація має бути детермінованою, де це можливо. BugBug додає, що відновлення не передбачає, щоб агент ШІ переписував логіку тесту або справді розумів застосунок.
Маркетинг часто стверджує, що тестування з ШІ робить відновлення само. На практиці ШІ в тестуванні програмного забезпечення охоплює широкий спектр: від простого оцінювання схожості до моделі, яка ранжує кандидатів-елементів. Запитайте постачальника, що саме ухвалює ШІ і чи показує журнал, чому було обрано саме цей елемент. Якщо ШІ обере неправильний елемент, дефект може пройти непоміченим, тож вибір ШІ потребує такої самої перевірки, як і будь-яке інше відновлення.
Переваги самовідновлення та те, що воно не може виправити
Відновлення найкорисніше, коли йдеться про косметичні зміни:
- Розробник перейменовує ідентифікатор або CSS-клас, а поведінка залишається тією самою.
- Зсув макета переміщує кнопку в інше місце.
- Оновлення бібліотеки компонентів змінює розмітку, але не екран.
У таких випадках переваги реальні: менше супроводу тестів, а нешкідливі зміни інтерфейсу більше не призводять до падіння багатьох тест-кейсів одночасно.
Можливості самовідновлення інструмента вписуються в ширшу стратегію автоматизації тестування, поруч із дослідницьким тестуванням, для безперервного тестування. Вони захищають покриття тестами користувацького інтерфейсу від змін UI. Модульні тести та тестування API не використовують локатори екрана, тож для них відновлення взагалі не потрібне.
Воно не допомагає з більшістю інших причин, через які тести падають. BugBug стверджує, що відновлення стосується майже виключно локаторів, а не перевірок (assertions), очікуваних значень, потоків тестів чи бізнес-правил. Воно не вирішує проблеми з таймінгом і погану архітектуру тестів. Якщо ваша проблема в нестабільних очікуваннях або спільних даних, спершу розглядайте нестабільні тести як окрему тему, адже відновлення їх не вилікує. Та сама стаття зазначає, що відновлення погано працює в системах з рольовим доступом, динамічних панелях, багатокрокових транзакціях і екранах зі складною умовною логікою, а чим більше контексту потрібно для ідентифікації елемента, тим складнішим стає відновлення.
Хороші локатори та стабільні тестові ідентифікатори також запобігають багатьом поломкам ще до того, як знадобиться відновлення. Найкращі практики Playwright радять локатори, що відображають те, що бачать користувачі, наприклад роль і текст, а не крихкі шляхи CSS або XPath. Ця порада стосується й наборів тестів на Selenium.
Самовідновлювальна автоматизація тестування та ризик прихованих регресій
Найважливіший ризик сформулювати просто. Інструмент, який адаптується, може адаптуватися і до дефекту.
Посібник T-Plan щодо самовідновлювальної автоматизації тестування називає це прихованою регресією: фреймворк може автоматично пристосуватися до зміненого елемента, який насправді є дефектом, тож тест проходить, хоча користувацький досвід погіршився. Там додано, що це створює хибну впевненість і знижує довіру до автоматизації. Також зазначено, що системи самовідновлення можуть обрати неправильний елемент-заміну, що чим агресивніше відновлення, тим вищий ризик помилкового зіставлення, і що деякі збої мають залишатися видимими.
Уявіть кнопку «Зберегти» в тестованому застосунку, яку після помилкового злиття замінює кнопка «Видалити» на тому самому місці. Тест, що шукає «кнопку в нижній частині форми», може відновитися на нову кнопку, натиснути її і продовжити роботу. Набір тестів залишається зеленим, а помилка потрапляє у продакшн.
Саме тому зростання відсотка успішних тестів не завжди добра новина. Якщо він різко піднявся після релізу інтерфейсу без відповідних змін у тестах, спочатку перевірте журнал самовідновлення, і лише потім радійте.
Запобіжники, які роблять використання безпечним
Посібники T-Plan і BugBug дають схожі поради. Вони стосуються як власної реалізації самовідновлення, так і купівлі готового інструмента з цією функцією:
- Фіксуйте кожне відновлення. Записуйте старий локатор, новий локатор, рівень впевненості у співпадінні та те, що інструмент змінив на сторінці.
- Переглядайте за графіком. Не дозволяйте безшумну адаптацію безстроково. Після кожного релізу переглядайте журнал відновлень і схвалюйте або відхиляйте кожен запис.
- Використовуйте режим пропозицій, якщо це можливо. Нехай інструмент пропонує виправлення, а людина має його прийняти.
- Ніколи не дозволяйте змінювати перевірки. Самовідновлення може змінити спосіб пошуку елемента. Воно ніколи не повинно змінювати те, чого очікує тест, а це і є його суть.
- Записуйте виправлення назад у код. Оскільки відновлення лише лагодить конкретний запуск, оновіть скрипт кращим локатором.
- Обмежуйте сферу дії. Не кожен елемент має відновлюватися самостійно. Критичні сценарії, як-от оплата, можуть потребувати суворіших перевірок, наприклад візуального тестування, яке перевіряє, як виглядає сторінка.
- Стежте за динамікою. Раптове зростання відсотка успішних тестів потребує пояснення, адже автоматизація з самовідновленням може зробити набір тестів здоровішим, ніж він є насправді.
Приклад: рефакторинг оформлення замовлення, з відновленням і без нього
Цифри вигадані.
У команди є 400 автоматизованих тестів, які працюють у браузері. Фронтенд-рефакторинг перейменовує ідентифікатори на сторінці оформлення замовлення. Без відновлення 60 тестів падають через локатори, і кожне падіння потребує перевірки. Інженеру потрібно близько двох днів, щоб їх полагодити, і весь цей час у команди немає надійного результату регресійного тестування.
Коли відновлення увімкнено, інструмент виправляє локатори під час виконання тестів, тож кожен тест продовжує роботу, і 55 із цих 60 тестів проходять з відновленими локаторами. QA-лідер бачить кожне відновлення у звіті. П'ять тестів усе ще падають, бо їхні елементи були видалені навмисно. Інженер витрачає півдня на ці п'ять і ще одну годину на читання журналу відновлень.
У журналі два відновлення виглядають неправильно. У тесті редагування адреси інструмент натиснув «Видалити адресу», хоча тест мав натиснути «Зберегти адресу». Тест перевіряв лише те, що сторінка завантажилася, тож він пройшов. Інженер виправляє обидва локатори і додає сувору перевірку, що збережена адреса з'являється у списку.
Результат: близько двох днів роботи з виправлення скорочуються приблизно до одного дня. Економія реальна, але вона з'являється лише тому, що людина прочитала журнал. Без цього перегляду два тести залишилися б зеленими, перевіряючи не те.
Типові помилки
- Розглядати самовідновлення як заміну хороших локаторів. Стабільні локатори за роллю, текстом або ідентифікатором тесту запобігають поломкам і нічого не коштують.
- Дозволяти йому працювати безшумно. Якщо ніхто не читає журнал, неправильні відновлення накопичуються непоміченими.
- Очікувати, що воно виправить нестабільні тести. Проблеми з таймінгом і нестабільні тестові дані потребують інших рішень.
- Використовувати його для критичних перевірок без додаткових запобіжників. Додавайте візуальне регресійне тестування або перевірки даних для потоків оплати та дозволів.
- Вірити цифрам постачальника щодо меншого обсягу обслуговування тестів без пілотного проєкту. Виміряйте реальний ефект на власному наборі тестів, перш ніж зобов'язуватися.
Як може допомогти програмне забезпечення
Багато фреймворків для автоматизації тестування, хмарних платформ та інших інструментів автоматизації тепер пропонують самовідновлення у різних формах: прості резервні локатори, оцінку схожості та вибір елементів на основі ШІ. Порівнюйте їх за наведеними вище критеріями, а не за назвою. Запитайте, чи платформа самовідновлення показує кожне відновлення, чи дає змогу його схвалити та експортувати як зміну в скрипті. Звичайний набір тестів на Selenium або Playwright із добре підібраними локаторами та короткою звичкою перевіряти результати є валідною альтернативою будь-якому інструменту з самовідновленням. Перш ніж ухвалювати рішення, проведіть пілот на одній нестабільній ділянці і порівняйте час на обслуговування. Інструменти, побудовані на AI-агентах, які часто називають агентним ШІ і які працюють за кроками, описаними простою мовою, ставлять ті самі питання щодо перевірки.
Наступний крок
Оберіть одну частину вашого набору наскрізного тестування, яка ламається найчастіше, увімкніть там відновлення на один реліз і перевіряйте кожне відновлення вручну. Потім вирішіть, чи заслуговує автоматизація тестів із самовідновленням на ширшу роль у вашому наборі, виходячи з того, скільки відновлень були правильними.