Модульные, интеграционные и сквозные тесты: где ИИ помогает больше всего
By Mirko Peters · · Updated
Модульные, интеграционные и сквозные тесты: что проверяет каждый из них, сколько их нужно писать и где ИИ помогает больше всего — от черновиков модульных тестов до проверки браузерных сценариев.
Automatically translated with AI from the original post. Read the English original
Модульные, интеграционные и сквозные тесты — это вопрос, лежащий в основе любой стратегии тестирования программного обеспечения: каждый уровень проверяет своё, стоит своих затрат и даёт свой тип уверенности. Это руководство для QA-лидов, которых спрашивают, где ИИ должен находить применение в тестировании программного обеспечения. Вы увидите, что проверяет каждый уровень, сколько тестов каждого вида содержит здоровый набор, где ИИ помогает больше всего и где он добавляет риск. Пример с вымышленными цифрами показывает, как одна команда решила, на что направить усилия.
Ключевые выводы
- Модульный тест проверяет один фрагмент кода, интеграционный тест — связь с чем-то за пределами приложения, а сквозной тест запускает развёрнутую систему через её интерфейс.
- Пирамида тестирования предлагает писать много небольших быстрых модульных тестов, некоторое количество более крупных тестов и очень мало высокоуровневых, потому что верхние уровни медленнее и требуют больше поддержки.
- ИИ наиболее полезен там, где результат небольшой и легко проверяется, например при составлении модульных и API-тестов, и где человек может проверить каждый сгенерированный тест.
- Тесты, созданные ИИ, могут искусственно повышать покрытие, не проверяя поведение, например когда тесты выполняют код, но содержат слабые или отсутствующие проверки (assertions).
- Относитесь к результатам ИИ как к черновику на каждом уровне и оставляйте решения за человеком для неоднозначных сценариев, визуальных проверок и проверок доступности.
Модульные, интеграционные и сквозные тесты: что проверяет каждый из них
Статья Мартина Фаулера The Practical Test Pyramid даёт чёткие определения.
- Модульные тесты гарантируют, что определённый модуль вашей кодовой базы, тестируемый объект, работает как задумано. Их область охвата самая узкая среди всех типов тестов. Именно этот уровень модульного тестирования разработчики пишут чаще всего.
- Интеграционные тесты проверяют интеграцию вашего приложения с частями, которые находятся за его пределами, например с базой данных, файловой системой или отдельным сервисом. Фаулер предпочитает узкие тесты, которые проверяют одну внешнюю точку интеграции за раз. Это задача интеграционного тестирования.
- Сквозные тесты проверяют развёрнутое приложение через его пользовательский интерфейс и охватывают всю интегрированную систему целиком. Фаулер называет их широкими тестами стека. Это сквозное тестирование.
Главное различие между модульным и интеграционным тестированием — в области охвата: одна часть кода против связи между частями. Функциональное тестирование и системное тестирование тоже проверяют ПО снаружи, а сквозное тестирование — это его форма, управляемая через браузер, поэтому договоритесь о терминах.
Разработчики обычно пишут модульные тесты и запускают их при каждом коммите. Запомнить разницу легко по вопросу, на который отвечает каждый уровень: модульный тест спрашивает, корректна ли эта функция. Интеграционный тест спрашивает, правильно ли мы взаимодействуем с этой другой системой. Сквозной тест спрашивает, может ли пользователь пройти этот путь до конца.
Сколько тестов каждого вида: пирамида тестирования
Пирамида тестирования — обычный способ описать баланс между уровнями. Фаулер советует писать много небольших и быстрых модульных тестов, некоторое количество более крупных тестов и очень немного высокоуровневых. Он формулирует это как правило: чем выше уровень, тем меньше тестов должно быть.
Причина — стоимость. По словам автора статьи, модульные тесты выполняются очень быстро, интеграционные тесты обычно работают заметно медленнее, потому что задействованы реальные внешние компоненты, а сквозное тестирование проходит довольно медленно. Кроме того, сквозное тестирование требует большого объёма поддержки и печально известно своей нестабильностью.
Нестабильность можно измерить и в масштабе. В записи блога Google Testing Blog Flaky Tests at Google and How We Mitigate Them сообщается, что около 1,5 процента запусков тестов в Google давали нестабильный результат, а почти 16 процентов тестов так или иначе демонстрировали нестабильность.
Все три уровня участвуют в регрессионном тестировании, поскольку они перезапускаются после каждого изменения.
Фаулер также предостерегает от противоположной формы, которую он называет «конусом мороженого»: много ручных тестов и тестов на уровне браузера сверху и мало модульных тестов внизу. Он описывает её как кошмар в поддержке, который выполняется слишком долго. Если ваш набор тестов выглядит именно так, добавление ИИ не исправит форму. Оно может лишь быстрее породить ещё больше медленных тестов.
Модульное и интеграционное тестирование: когда применять каждый уровень
В сравнении TestRail unit и integration testing перечислены практические различия. Модульные тесты быстро создаются и быстро выполняются, и обычно их пишут разработчики. В интеграционном тестировании часто участвуют инженеры по обеспечению качества и тестировщики. Модульные тесты используют моки и заглушки, чтобы не обращаться к внешним системам, а интеграционное тестирование фокусируется на реальном взаимодействии, но может по-прежнему использовать моки, если внешний сервис недоступен, ненадёжен или дорог.
Преимущества модульного тестирования — быстрая обратная связь, раннее обнаружение ошибок и более модульный код. Его слабость в том, что набор модульных тестов не показывает, работают ли части системы вместе, а это и добавляет интеграционное тестирование. TestRail рекомендует модульные тесты для изолированной логики на ранних этапах разработки, а интеграционные — для сценариев, которые охватывают несколько модулей, базы данных или сторонние сервисы. Он описывает два способа проведения последних: Big Bang, при котором всё тестируется вместе после разработки и что сложнее отлаживать, и инкрементальный, при котором небольшие группы тестируются поэтапно, что упрощает поиск проблем.
Фаулер даёт правило для выбора уровня: если тест более высокого уровня обнаруживает ошибку, а ни один тест нижнего уровня не падает, напишите тест нижнего уровня. Переносите тесты как можно ниже по пирамиде и удаляйте высокоуровневые тесты, которые дублируют то, что уже покрыто нижними уровнями. Полноценная стратегия тестирования использует все три уровня, и каждый верхний уровень сосредоточен на том, что нижние не могут покрыть.
Часто возникают два связанных вопроса. Фаулер отмечает, что одни называют средний слой интеграционными тестами, а другие — компонентными, и что договориться о терминах важнее, чем название. Он также говорит, что приёмочные тесты, которые проверяют ПО с точки зрения пользователя, могут относиться к любому уровню, поэтому они ортогональны пирамиде. Модульное и сквозное тестирование — это, таким образом, два конца одной шкалы, а не конкурирующие школы.
Эти тесты легко автоматизировать в конвейере. TestRail отмечает, что модульные тесты обычно запускаются рано, часто сразу после push или pull request, а интеграционные — позже, когда приложение развёрнуто в среде staging или тестовой среде. Вместе они образуют шлюз качества.
Где ИИ помогает больше всего
Инструменты на основе генеративного ИИ различаются, но в рекомендациях поставщиков прослеживается общая закономерность. В статье Parasoft о использовании ИИ в программном тестировании команды советуют генерировать модульные и API-тесты, пока изменения ещё свежи. В ней упоминается помощь ИИ в создании API-тестов, предложении проверок (assertions) и формировании тестовых сценариев с данными. Также отмечается, что виртуализация сервисов, которая имитирует медленные, дорогие или недоступные зависимости, поддерживает интеграционное тестирование.
Это согласуется с пирамидой. Выводы здесь — наши собственные предположения, а не результат измерений:
- Небольшой объём легко проверить. Сгенерированный модульный тест занимает несколько строк. Рецензент может прочитать его, запустить и за минуту решить, проверяет ли он то, что нужно.
- Быстрая обратная связь выявляет плохие тесты. Неверный модульный тест быстро падает или проходит, поэтому проблема обнаруживается в тот же день.
- Чёткие входные и выходные данные. У функций и вызовов API определены входные и выходные данные, поэтому у инструмента есть точная цель.
- Много однотипных случаев. Граничные значения и пути обработки ошибок в модульном тестировании повторяются, и черновик экономит время на набор текста.
Пусть ИИ готовит черновик, а отвечает человек: тот, кто принимает сгенерированный тест, отвечает за то, что он проверяет, точно так же, как за тест, написанный вручную.
Для интеграционного тестирования ИИ может подготовить тест-кейс или тестовые данные и имитировать зависимости, но человек должен определить, каков контракт с другой системой, ведь именно этот контракт и проверяет интеграционное тестирование.
На уровне сквозного тестирования ИИ помогает иначе. Инструменты, которые выполняют шаги, описанные обычным языком, в браузере, могут снизить затраты на написание теста пользовательского сценария. Однако они не меняют стоимость его запуска и не отменяют необходимость в чётком правиле «прошёл» или «не прошёл».
Где ИИ помогает меньше всего и на что обращать внимание
В статье Parasoft об ограничениях сказано прямо. Там говорится, что на каждое изменение, созданное ИИ, нужно обязательно смотреть человеку, а результат ИИ считать черновиком. Там также отмечено, что при неправильном использовании ИИ может искусственно повышать покрытие, не проверяя поведение, и предупреждается о пустых тестах, которые выполняют пути кода, но содержат слабые или отсутствующие проверки. Как тревожный признак указано, что результаты дрейфуют между запусками с одинаковыми входными данными. Кроме того, ИИ не может одобрить изменения, критичные для безопасности, или заменить человеческое суждение в неоднозначных сценариях, визуальных проверках и проверках доступности. Что касается данных, статья предостерегает от промптов, содержащих секреты или регулируемые данные.
Стратегии тестирования с использованием ИИ требуют четырёх проверок:
- Покрытие растёт, но ничего не ловит. Проверяйте утверждения (assertions), а не только числа покрытия.
- Тесты повторяют код. Тест, который воспроизводит реализацию, пройдёт даже тогда, когда логика неверна.
- Нестабильный результат. Если сгенерированный тест меняется от запуска к запуску, зафиксируйте версию, которую вы проверили.
- Данные уходят за пределы компании. Не вставляйте секреты, данные клиентов или регулируемые данные в промпт.
Пример: на что одна команда тратит усилия
Цифры условные.
У команды 600 автоматизированных тестов: 450 модульных, 110 интеграционных и 40 сквозных. Тесты в браузере занимают 50 минут из 60-минутного конвейера, и каждую неделю шесть из них падают без видимой причины.
Руководитель QA делает три шага. Во-первых, ИИ-помощник готовит черновики модульных тестов для нового кода, а разработчик проверяет каждый черновик. За первый месяц помощник подготовил 120 тестов. Рецензенты отклонили 30 из них из-за слабых проверок, поэтому в набор вошли 90.
Во-вторых, ИИ готовит тестовые данные для интеграционных тестов, а контракты по-прежнему пишутся вручную.
В-третьих, 40 сквозных тестов ИИ не трогает. Руководитель удаляет шесть дубликатов, которые уже покрыты более быстрым тестом нижнего уровня, и конвейер сокращается с 60 минут до 48. Усилия ИИ направлены туда, где проверка дешевле всего, а медленный уровень стал меньше.
Распространённые ошибки
- Добавление тестов в браузере с помощью ИИ. Медленный и нестабильный уровень растёт, и конвейер замедляется.
- Принятие сгенерированных тестов без чтения. Слабые проверки дают покрытие без безопасности.
- Оценка успеха по количеству тестов. Вместо этого считайте найденные дефекты и сэкономленные минуты.
- Пропуск интеграционного тестирования. Модульные тесты и несколько пользовательских сценариев могут не заметить нарушенные контракты между системами.
- Вставка конфиденциальных данных в промпты. Установите политику до первого промпта.
Как может помочь программное обеспечение
Существующие фреймворк тестирования и система CI уже показывают время выполнения и долю падений. Начните с них и сгруппируйте данные по уровням. Инструменты код-ревью помогают проверять черновики ИИ, потому что рецензент видит сгенерированный тест рядом с кодом. Отчёты о покрытии читайте вместе с проверкой утверждений, чтобы покрытие не принимали за качество. Сначала подключите ИИ-помощника к одному уровню тестирования и сравните время проверки, число отклонённых черновиков и пропущенные дефекты, прежде чем расширять пилот.
Следующий шаг
Подсчитайте тесты на каждом уровне, запишите время выполнения и долю нестабильных тестов для каждого уровня. Затем выберите один уровень для пилота с ИИ и запишите, что будете измерять, чтобы следующий спор о том, что выбрать: модульные, интеграционные или сквозные тесты, начинался с данных.