M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Модульні, інтеграційні та наскрізні тести: де ШІ допомагає найбільше

By · · Updated

Модульні, інтеграційні та наскрізні тести: що перевіряє кожен із них, скільки їх писати і де ШІ допомагає найбільше, від чернеток модульних тестів до перевірки сценаріїв у браузері.

Automatically translated with AI from the original post. Read the English original

Модульні, інтеграційні та наскрізні тести: саме це питання лежить в основі будь-якої стратегії тестування програмного забезпечення. Кожен рівень перевіряє різне, коштує різних зусиль і дає різний тип впевненості. Цей посібник призначено для QA-лідів, яких питають, де ШІ має бути в тестуванні програмного забезпечення. Ви побачите, що перевіряє кожен рівень, скільки тестів кожного типу містить здоровий набір, де ШІ допомагає найбільше і де він додає ризику. Розглянутий приклад із вигаданими цифрами показує, як одна команда вирішила, куди спрямувати зусилля.

Головне

  • Модульний тест перевіряє один фрагмент коду, інтеграційний тест перевіряє зв'язок із чимось поза застосунком, а наскрізний тест запускає розгорнуту систему через її інтерфейс.
  • Піраміда тестування радить писати багато невеликих швидких модульних тестів, деякі ширші тести і дуже небагато тестів верхнього рівня, бо вищі рівні повільніші та потребують більше супроводу.
  • ШІ найкорисніший там, де результат невеликий і легко перевіряється, наприклад у складанні модульних і API-тестів, і там, де людина може перевірити кожен згенерований тест.
  • Тести, згенеровані ШІ, можуть штучно збільшувати покриття без перевірки поведінки, наприклад тести, які виконують код, але мають слабкі або відсутні перевірки результату.
  • Ставтеся до результатів ШІ як до чернетки на кожному рівні і залишайте людське судження для неоднозначних сценаріїв, візуальних перевірок і оглядів доступності.

Модульні, інтеграційні та наскрізні тести: що перевіряє кожен із них

Стаття Мартіна Фаулера The Practical Test Pyramid містить чіткі визначення.

  • Модульні тести переконуються, що певна одиниця вашої кодової бази, тестований об'єкт, працює так, як задумано. Їхній охоплення найвужче серед усіх типів тестів. Це рівень модульного тестування, який розробники пишуть найчастіше.
  • Інтеграційні тести перевіряють інтеграцію вашого застосунку з частинами, що існують поза ним, наприклад з базою даних, файловою системою або окремим сервісом. Фаулер віддає перевагу вузьким тестам, які перевіряють одну зовнішню точку інтеграції за раз. Це завдання інтеграційного тестування.
  • Наскрізні тести перевіряють розгорнутий застосунок через його користувацький інтерфейс і охоплюють усю інтегровану систему. Фаулер називає їх широкими тестами стеку. Це наскрізне тестування.

Головна різниця між модульним та інтеграційним тестуванням полягає в охопленні: одна частина коду проти зв'язку між частинами. Функціональне тестування і системне тестування також перевіряють програмне забезпечення ззовні, а наскрізне тестування є його варіантом, керованим через браузер, тож домовтеся про терміни.

Розробники зазвичай пишуть модульні тести і запускають їх при кожному коміті. Запам'ятайте різницю за питанням, на яке відповідає кожен рівень: модульний тест питає, чи коректна ця функція. Інтеграційний тест питає, чи правильно ми взаємодіємо з цією іншою системою. Наскрізний тест питає, чи може користувач пройти цей сценарій.

Скільки тестів кожного типу: піраміда тестування

Піраміда тестування — це звичний спосіб описати баланс між різними рівнями. Фаулер радить писати багато дрібних і швидких модульних тестів, дещо більш укрупнених тестів і дуже мало тестів високого рівня. Він формулює це як правило: чим вищий рівень, тим менше тестів вам потрібно.

Причина в цінності за вартістю. За словами автора статті, модульні тести виконуються дуже швидко, інтеграційні зазвичай працюють значно повільніше, бо залучають реальні зовнішні компоненти, а наскрізні тести (end-to-end) виконуються досить повільно. Наскрізні тести також потребують багато супроводу і печально відомі своєю нестабільністю.

Цю нестабільність можна виміряти у великому масштабі. У дописі Google Testing Blog Flaky Tests at Google and How We Mitigate Them повідомляється, що близько 1,5 відсотка запусків тестів давали нестабільний результат, а майже 16 відсотків тестів мали певну нестабільність.

Усі три рівні забезпечують регресійне тестування, адже вони запускаються знову після кожної зміни.

Фаулер також застерігає від протилежної форми, яку він називає «морозивом на конусі» (test ice-cream cone): багато ручних і тестів на рівні браузера зверху та мало модульних тестів знизу. Він описує її як кошмар для супроводу, який до того ж виконується надто довго. Якщо ваш набір тестів виглядає саме так, додавання ШІ не виправить форму. Можливо, це лише швидше створить ще більше повільних тестів.

Модульне тестування проти інтеграційного: коли використовувати кожен рівень

Порівняння модульного та інтеграційного тестування від TestRail перелічує практичні відмінності. Модульні тести швидко створюються і швидко виконуються, і зазвичай їх пишуть розробники. Інтеграційним тестуванням часто займаються інженери з забезпечення якості та тестувальники. Модульні тести використовують мокі та стаби, щоб уникнути зовнішніх систем, тоді як інтеграційне тестування зосереджене на реальній взаємодії, але все ж може використовувати мокі, якщо зовнішній сервіс недоступний, ненадійний або надто дорогий.

Переваги модульного тестування — швидкий зворотний зв'язок, раннє виявлення помилок і модульніший код. Його слабкість у тому, що набір модульних тестів не показує, чи працюють частини разом, і саме це додає інтеграційне тестування. TestRail радить використовувати модульні тести для ізольованої логіки на ранніх етапах розробки, а інтеграційні — для робочих процесів, що охоплюють кілька модулів, баз даних або сторонніх сервісів. Він описує два способи запуску останніх: Big Bang, коли все тестується разом після розробки і налагоджувати це складніше, та інкрементальний, коли тестуються невеликі групи крок за кроком, що полегшує пошук проблем.

Фаулер дає правило для вибору рівня: якщо тест вищого рівня знаходить помилку, а жоден тест нижчого рівня не падає, напишіть тест нижчого рівня. Переносьте тести якомога нижче за піраміду і видаляйте тести високого рівня, які дублюють те, що вже покривають нижчі рівні. Комплексна стратегія тестування використовує всі три рівні, де кожен вищий рівень зосереджений на тому, чого не можуть охопити нижчі.

Часто виникають два пов'язаних питання. Фаулер зазначає, що одні називають середній шар інтеграційними тестами, а інші — компонентними, і що домовленість про терміни важливіша за назву. Він також каже, що приймальні тести, які перевіряють програмне забезпечення з погляду користувача, можуть розміщуватися на будь-якому рівні, тож вони ортогональні до піраміди. Отже, модульне і наскрізне тестування — це два кінці однієї шкали, а не конкуруючі школи.

Ці тести легко автоматизувати в конвеєрі. TestRail зазначає, що модульні тести зазвичай запускаються рано, часто одразу після push або pull request, а інтеграційні — пізніше, коли застосунок розгорнуто в середовищі staging або тестовому середовищі. Разом вони утворюють контрольну точку якості.

Де ШІ допомагає найбільше

Інструменти на основі генеративного ШІ відрізняються, але в рекомендаціях постачальників проглядається певна закономірність. У статті Parasoft про використання ШІ в тестуванні програмного забезпечення команди радять генерувати модульні та API-тести, поки зміни ще свіжі. Там також згадується, що ШІ допомагає створювати API-тести, пропонувати перевірки (assertions) і формувати сценарії даних. Крім того, віртуалізація сервісів, яка імітує повільні, дорогі або недоступні залежності, підтримує інтеграційне тестування.

Це узгоджується з пірамідою. Причини — наш власний висновок, а не результат вимірювання:

  • Невеликий обсяг легко перевірити. Згенерований модульний тест займає кілька рядків. Рецензент може прочитати його, запустити і за хвилину вирішити, чи він перевіряє те, що треба.
  • Швидкий зворотний зв'язок виявляє погані тести. Некоректний модульний тест швидко падає або проходить, тож проблему ви помічаєте того ж дня.
  • Чіткі вхідні та вихідні дані. Функції та виклики API мають визначені вхідні й вихідні дані, тож інструмент має точну ціль.
  • Багато однотипних випадків. Граничні значення та шляхи помилок у модульному тестуванні повторювані, і чернетка заощаджує час на написання.

Нехай AI створює чернетку, а відповідає людина: той, хто приймає згенерований тест, відповідає за те, що він перевіряє, так само, як за тест, написаний вручну.

Для інтеграційного тестування AI може створити чернетку тест-кейсу чи тестових даних і імітувати залежності, але людина має визначити, яким є контракт з іншою системою, а інтеграційне тестування й перевіряє цей контракт.

На рівні наскрізного (end-to-end) тестування AI допомагає інакше. Інструменти, які виконують кроки, описані звичайною мовою, у браузері, можуть знизити вартість написання тесту сценарію користувача. Вони не змінюють вартості його запуску і не усувають потребу в чіткому правилі, коли тест вважається пройденим, а коли ні.

Де AI допомагає найменше і на що звернути увагу

Стаття Parasoft прямо говорить про обмеження. Вона радить зберігати людський перегляд кожної зміни, згенерованої AI, і ставитися до результату AI як до чернетки. Вона зазначає, що за неправильного використання AI може штучно підвищувати покриття, не перевіряючи поведінку, і попереджає про порожні тести, які виконують шляхи коду, але мають слабкі або відсутні перевірки (assertions). Як тривожний сигнал вона називає результати, що змінюються між запусками за тих самих вхідних даних. Крім того, AI не може дати висновок щодо змін, критичних для безпеки, або замінити людське судження в неоднозначних сценаріях, візуальних перевірках і оглядах доступності. Щодо даних вона застерігає від запитів, які містять секрети або регульовані дані.

Стратегії тестування з використанням AI потребують чотирьох перевірок:

  1. Покриття зростає, але нічого не виявляє. Перевіряйте перевірки (assertions), а не лише цифри покриття.
  2. Тести повторюють код. Тест, який відтворює реалізацію, пройде навіть тоді, коли логіка помилкова.
  3. Нестабільний результат. Якщо згенерований тест змінюється між запусками, зафіксуйте версію, яку ви перевірили.
  4. Дані виходять за межі організації. Не вставляйте секрети, дані клієнтів або регульовані дані в запит.

Приклад: на чому команда витрачає зусилля

Цифри вигадані.

У команди 600 автоматизованих тестів: 450 модульних, 110 інтеграційних і 40 наскрізних. Тести в браузері займають 50 хвилин із 60-хвилинного конвеєра, а шість із них щотижня падають випадково.

Керівник QA робить три кроки. По-перше, AI-асистент створює чернетки модульних тестів для нового коду, а розробник переглядає кожну чернетку. За перший місяць асистент створює 120 тестів. Рецензенти відхиляють 30 із них, бо перевірки слабкі, тож до набору потрапляють 90.

По-друге, AI створює чернетки тестових даних для інтеграційних тестів, а контракти залишаються написаними вручну.

По-третє, 40 наскрізних тестів не отримують допомоги AI. Керівник видаляє шість дублікатів, які вже покриває швидший тест нижчого рівня, і конвеєр скорочується з 60 до 48 хвилин. Зусилля AI спрямовані туди, де перегляд найдешевший, а повільний рівень став меншим.

Типові помилки

  • Використання AI для додавання тестів у браузері. Повільний і нестабільний рівень зростає, а конвеєр стає повільнішим.
  • Прийняття згенерованих тестів без читання. Слабкі перевірки дають покриття без безпеки.
  • Вимірювання успіху кількістю тестів. Натомість рахуйте виявлені дефекти та заощаджені хвилини.
  • Пропуск інтеграційного тестування. Модульні тести плюс кілька сценаріїв можуть пропустити зламані контракти між системами.
  • Вставлення чутливих даних у запити. Встановіть політику до першого запиту.

Як може допомогти програмне забезпечення

Ваш наявний фреймворк тестування та система CI вже показують тривалість запусків і частоту відмов. Почніть із них і згрупуйте цифри за рівнями. Інструменти код-рев'ю допомагають із чернетками AI, адже рецензенти бачать згенерований тест поруч із кодом. Звіти про покриття читайте разом із перевіркою перевірок, щоб покриття не сприймалося як якість. Спочатку додайте AI-асистента на один рівень тестування та порівняйте час перегляду, кількість відхилених чернеток і дефекти, що пропущені до релізу, перш ніж розширювати пілот.

Наступний крок

Порахуйте тести на кожному рівні, зафіксуйте тривалість запуску та частку нестабільних тестів для кожного рівня. Потім оберіть один рівень для пілоту з AI і запишіть, що саме вимірюватимете, щоб ваша наступна дискусія про модульні, інтеграційні та наскрізні тести починалася з даних.

Entities in this article

Unit testing Integration testing End-to-end testing Generative AI

Related articles

RSS