Які регресійні тести автоматизувати першими? Посібник з вибору
By Mirko Peters · · Updated
Які тести автоматизувати першими? Почніть із регресійних тестів, які критичні для бізнесу, виконуються часто і стабільні. Щоб вирішити, використовуйте п'ять критеріїв і просту матрицю оцінювання.
Automatically translated with AI from the original post. Read the English original
Які тести автоматизувати першими? Почніть із регресійних тестів, які охоплюють критичні для бізнесу сценарії, запускаються при кожній збірці, рідко змінюються і найдовше повторюються вручну. Цей посібник призначено для QA-лідів із невеликою командою та довгим переліком ручних перевірок, яким потрібен обґрунтований порядок. Ви побачите п'ять критеріїв відбору, список того, що поки що залишити ручним, і просту матрицю оцінювання. Приклад із вигаданими цифрами ранжує п'ять тестів-кандидатів, тож ви зможете скопіювати метод.
Головне
- Спершу автоматизуйте регресійні тести, які охоплюють критичні для бізнесу сценарії, часто запускаються, рідко змінюються і найбільше часу потребують для ручного повторення.
- Ранжуйте функції за вартістю відмови: ймовірність і серйозність дефекту визначають, який тест заслуговує на автоматизацію раніше за інші.
- Поки що залишайте ручними одноразові, нестабільні, дослідницькі та юзабіліті-перевірки, бо їхня автоматизація може коштувати більше, ніж ручний запуск.
- Зважена оцінка від 1 до 5 за критичністю, частотою, стабільністю, ручними зусиллями та схильністю до нестабільності перетворює суперечку на ранжований список.
- Віддавайте перевагу найнижчому рівню тестування, який працює, і залишайте наскрізні тести на рівні браузера для сценаріїв, де повна перевірка є обов'язковою.
Чому важливий порядок автоматизації
Автоматизація потребує зусиль, і ці зусилля окупаються лише тоді, коли тест запускається багато разів. Тест, який запускається при кожній збірці, окупається швидко. Тест, який запускається один раз, не окупиться ніколи.
У гнучких командах із короткими спринтами часу рідко вистачає, щоб автоматизувати все. Автоматизація тестування є інвестицією, тому думайте про рентабельність інвестицій (ROI): ручні години, які заощаджує кожен автоматизований тест-кейс, мінус години на написання та супровід його тестових скриптів. Тому порядок автоматизації визначає, як швидко ваші інвестиції повертаються. Команда, яка автоматизує десять малоцінних перевірок, а оформлення замовлення залишає ручним, витратила зусилля не на те.
Посібник Ranorex про те, що варто автоматизувати, ставить регресійне тестування на верх списку пріоритетів, адже часті повторні запуски multiplікують економію. Він також радить ранжувати функції за вартістю відмови та спершу додавати до регресійного набору тести для найризикованіших функцій.
Стаття TestDevLab про пріоритизацію тест-кейсів для регресійного тестування описує ту саму ідею як пріоритизацію на основі ризику: ранжування тест-кейсів за такими факторами, як ймовірність відмови та серйозність наслідків. Вона радить починати з високоризикових і критичних функцій, а потім переходити до менш ризикових. Також сказано, що часто оновлювані функції та складні функції з кількома компонентами заслуговують на раннє тестування.
Практичний висновок: автоматизуйте за ризиком і частотою запуску тесту, а не за переліком функцій чи простотою.
Коротка стратегія автоматизації називає кандидатів, інструменти, відповідального та дату перегляду. Більшість найкращих практик автоматизації тестування починаються однаково: спершу вирішіть, що автоматизувати, і лише потім обирайте інструмент.
Які тести автоматизувати першими: п'ять критеріїв
Керівництво Katalon щодо вибору тестових випадків для регресійного тестування каже, що сильні кандидати для автоматизації відповідають більшості з низки умов. Ці п’ять є найважливішими для невеликої команди.
- Критично для бізнесу. Тест охоплює потік, важливий для доходу, безпеки або основної функціональності, наприклад вхід, оформлення замовлення чи платежі. Якщо він ламається, клієнти помічають це першими.
- Запускається часто. Тест запускається з кожним пул-реквестом, кожною нічною збіркою або кожним релізом.
- Стабільний. Функціональність рідко змінюється, тож тест не потребуватиме постійного ремонту.
- Дорогий у ручному виконанні. Тест є повторюваним, повільним і схильним до людських помилок. Повторювані перевірки та перевірки на основі даних добре підходять, адже ті самі кроки виконуються з багатьма вхідними даними, і саме тут автоматизоване тестування заощаджує найбільше часу.
- Зрозумілий результат. Тест має об’єктивний результат «пройдено» або «не пройдено», який легко перевірити, наприклад через екран, відповідь API або стан системи. Охоплюйте в тестових даних лише ті граничні випадки, які мають значення, а не кожен можливий вхід.
Тест, що відповідає чотирьом або п’яти з цих умов, отримує перше місце в черзі. Тест, що відповідає одній або двом, чекає.
Katalon додає думку про рівні: віддавайте перевагу найнижчому рівню, який працює, і автоматизуйте нестабільні сценарії інтерфейсу лише тоді, коли наскрізна перевірка є обов’язковою. Якщо правило можна перевірити модульним тестом або викликом API, ця перевірка зазвичай швидша й стабільніша за тест у браузері. Повільні тести інтерфейсу залишаються для небагатьох сценаріїв, яким вони справді потрібні. Наскрізне end-to-end тестування на рівні браузера зберігайте для сценаріїв, де потрібно довести весь шлях через екрани.
Узгодьте порядок із піраміडою тестування та вашим конвеєром
Відбір визначає, що автоматизувати. Рівні визначають, де це робити. Practical Test Pyramid Мартіна Фаулера (Practical Test Pyramid) радить багато малих швидких модульних тестів, дещо більш укрупнених тестів і дуже небагато тестів високого рівня. Його правило вибору рівня корисне для ранжованого списку: якщо тест вищого рівня знаходить помилку, а жоден тест нижчого рівня не падає, напишіть тест нижчого рівня. Опускайте тести якомога нижче і видаляйте тести високого рівня, які дублюють те, що вже покривають нижчі рівні.
Тож перш ніж писати тест у браузері для елемента зі списку, поставте собі два запитання. Чи міг би модульний або інтеграційний тест довести те саме правило швидше? Чи є зараз автоматизовані тестові випадки, які стали зайвими? Це наші запитання, побудовані на правилі Фаулера, а не контрольний список із джерел.
Далі розмістіть кожен тест у конвеєрі. Ranorex описує димові тести як невелику підмножину регресійних тестів, що запускаються з кожною новою збіркою, а Katalon називає кожен пул-реквест, нічну збірку та реліз моментами, коли запускаються сильні кандидати. Практичний поділ, який є нашою власною пропозицією, такий: невеликий димовий набір із кожною збіркою та повніший набір автоматизованих тестів щоночі або з кожним релізом. Дослідницьке тестування залиште в руках QA-команди, а план переглядайте щоквартально.
Що поки залишити для ручного тестування
Вміти відмовитися — частина плану. Ranorex перелічує випадки, коли автоматизація не окупається:
- Одноразові тести. Автоматизувати тест може бути довше, ніж один раз прогнати його вручну. Тести, які увійдуть до регресійного набору або працюють на основі даних, одноразовими не вважаються.
- Нестабільна функціональність. Поки вимога є експериментальною або перебуває в розробці, тестуйте її вручну.
- Тести без чіткого результату «пройдено» або «не пройдено». Автоматизуйте лише тоді, коли результат об’єктивний.
- Дослідницьке та юзабіліті-тестування. Ranorex стверджує, що ці тести не можна і не слід автоматизувати, адже вони залежать від людського судження.
Функції, що не піддаються автоматизації, наприклад CAPTCHA, потребують окремого плану. Ranorex пропонує вимикати їх у тестовому середовищі, додавати обхід для розробників або призупиняти тест, поки тестувальник не пройде перевірку вручну.
Ручне не означає забуте. Внесіть такі тести до списку з датою перегляду, щоб функція, яка стабілізувалася, могла перейти вище в пріоритетах.
Оцініть кандидатів за допомогою простої матриці
Коли два тести здаються однаково важливими, бал робить вибір видимим. Katalon рекомендує оцінювати кожен тест від 1 до 5 за зваженими факторами, помножувати кожну оцінку на її вагу та додавати результати. Його приклади ваг: критичність для бізнесу 0,3, частота виконання 0,2, стабільність 0,2, заощаджені зусилля на ручне тестування 0,15 і бал нестабільності 0,15, де вища оцінка означає нижчий ризик нестабільності. Запропоновані пороги: 4,0 або вище — автоматизувати, від 3,0 до 3,9 — повернутися пізніше, нижче 3,0 — залишити ручним або дослідницьким тестуванням.
Ці ваги можна використовувати як є або змінити. Важливе не точне число. Важливо, щоб команда погодила фактори до того, як сперечатися про окремі тести.
Звідки беруться бали? Katalon зазначає, що дані з продуктивного середовища та минулі інциденти показують, які шляхи важливіші за інші. TestDevLab описує пріоритизацію на основі історії, яка ранжує тести за їхнім минулим результатом у пошуку дефектів. Використовуйте свій список інцидентів і звернень до підтримки, щоб заповнити колонку критичності, а історію збірок — щоб заповнити колонки частоти та нестабільності. Бал, побудований на даних, легше захистити, ніж бал, побудований на думці. Переглядайте рейтинг разом з усією командою і відстежуйте покриття критичних процесів тестами як просту цифру: скільки з ваших десяти найважливіших процесів мають автоматизований тест-кейс?
Приклад: ранжування п'яти кандидатів на тести
Бали вигадані, а ваги взяті з наведеного вище.
QA-лід має п'ять ручних перевірок для ранжування. Кожен фактор оцінюється від 1 до 5.
- Експорт рахунків. Критичність 5, частота 5, стабільність 4, зусилля 4, бал нестабільності 3. Бал: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Автоматизувати першим.
- Скидання пароля. Критичність 5, частота 3, стабільність 5, зусилля 3, бал нестабільності 4. Бал: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Автоматизувати наступним.
- Фільтр звітів. Критичність 3, частота 4, стабільність 4, зусилля 4, бал нестабільності 4. Бал: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Повернутися до нього наступного кварталу.
- Новий макет дашборда. Критичність 3, частота 3, стабільність 1, зусилля 3, бал нестабільності 2. Бал: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Залишити ручним, доки дизайн не усталиться.
- Завантаження фото профілю. Критичність 2, частота 2, стабільність 3, зусилля 2, бал нестабільності 2. Бал: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Залишити ручним.
Результат — ранжований список: спершу експорт рахунків, потім скидання пароля, а фільтр звітів у резерві. Лід починає з невеликого фреймворку для автоматизації, спільних тестових даних і цих перших тест-кейсів, а потім нарощує автоматизований набір. Власник продукту бачить причини, а коли дашборд перестане змінюватися, його бал стабільності зросте і він зможе піднятися вгору списку.
Типові помилки
- Автоматизація найлегших тестів першими. Прості тести часто мають низький вплив, тож набір зростає, але не захищає того, що важливо.
- Автоматизація нестабільної функції. Тести ламаються з кожною зміною, і команда перестає їм довіряти.
- Підрахунок тестів замість впливу. Великий набір простих перевірок з низькою цінністю коштує в підтримці більше, ніж заощаджує.
- Початок кожної перевірки на рівні браузера. Якщо модульний тест або перевірка API може покрити правило, його зазвичай дешевше залишити саме там.
- Ігнорування ручного тестування, яке все ще важливе. Дослідницькі перевірки та огляди зручності використання залишаються за тестувальниками, а тестування програмного забезпечення потребує обох видів зусиль.
- Ніколи не переглядати ранжування. Використання, вплив і стабільність змінюються, тому переглядайте список щокварталу.
Як може допомогти програмне забезпечення
Для початку достатньо таблиці з п'ятьма критеріями та вагами. Додайте колонку з датою останнього перегляду. Ваш інструмент управління тестуванням, якщо він у вас є, також може показати, як часто запускається кожен тест і як часто він падає, а це живить бали частоти та нестабільності. Історичні дані про дефекти з вашої системи заявок показують, які ділянки ламаються найчастіше. Інструменти тестування браузера, скриптові чи на звичайній мові, мають значення лише тоді, коли ранжування показало, які процеси заслуговують на тест. Обирайте інструмент після того, як маєте список, а не до цього.
Наступний крок
Складіть список двадцяти найповільніших ручних регресійних перевірок, оцініть кожну за п'ятьма факторами та відсортуйте результат. Потім автоматизуйте перші три і використайте цей ранжований список, щоб відповісти, які тести автоматизувати першими, на вашій наступній нараді з планування.