M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Покрытие тестами бизнес-приложений: как отслеживать то, что действительно протестировано

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Отслеживание покрытия функций тестами показывает, какие функции бизнес-приложения покрыты тестами, а какие нет. Постройте матрицу покрытия, изучите её пробелы и поддерживайте её в актуальном состоянии.

Automatically translated with AI from the original post. Read the English original

Отслеживание покрытия функций тестами отвечает на простой вопрос о бизнес-приложении: какие функции имеют тест и что произошло при последнем запуске теста? Это руководство предназначено для QA-лидов, которые поддерживают тесты для line-of-business приложений и нуждаются в ясной картине для релизных собраний. Вы узнаете, чем покрытие тестами в тестировании ПО отличается от покрытия кода, как измерять покрытие тестами с помощью матрицы покрытия и как поддерживать её в актуальном состоянии. Пример с вымышленными цифрами показывает, почему высокий процент сопоставленных функций всё равно может скрывать пробелы.

Ключевые выводы

  • Покрытие тестами показывает, какие функции, требования и сценарии использования имеют тесты, тогда как покрытие кода measures только то, какая часть исходного кода выполнялась во время тестирования.
  • Матрица покрытия сопоставляет каждое требование или функцию с тест-кейсами, которые их проверяют, а также с приоритетом, результатами, статусом и ответственным.
  • Связанный тест показывает задокументированное покрытие, а не успешную проверку, поэтому отслеживайте результаты по каждой сборке рядом со ссылками.
  • Начинайте с полного списка функций, включая те, у которых нет тестов, поскольку матрица, построенная только по существующим тестам, не может показать то, что никогда не тестировалось.
  • Проверяйте матрицу при планировании, после изменений и перед решениями о выпуске, а датированные снимки сохраняйте как доказательство.

Что означает покрытие тестами и чего оно не означает

Статья Perforce о покрытии тестами и покрытии кода разделяет два понятия, которые команды часто путают.

  • Покрытие тестами относится к функциям и сценариям использования. Оно помогает увидеть, рассмотрены ли все необходимые сценарии, и, по словам автора статьи, является хорошим индикатором риска. Его оценивают по таким показателям, как спецификации, риски, функциональность и продукт.
  • Покрытие кода измеряет, какая часть исходного кода приложения была выполнена во время тестирования, часто в виде процента строк. Оно показывает, какой код был и не был протестирован.

Для бизнес-приложения, например системы заказов или HR-портала, первое понятие обычно важнее для людей, которые полагаются на программу. Руководителя интересует, проверено ли утверждение счетов, а не то, выполнилась ли строка 4 200.

Та же статья предостерегает от слишком щедрого толкования любого из этих показателей. Покрытие кода не обязательно равно качеству кода, а покрытие тестами не гарантирует отсутствие ошибок в приложении. Если тесты слабые, слабым будет и покрытие. Рассматривайте покрытие как карту того, где вы смотрели, а не как оценку.

Отслеживание покрытия функций тестами в четыре шага

Руководство TestRail по матрице трассировки требований описывает метод, который для отслеживания покрытия функций тестами можно свести к четырём шагам.

  1. Определите границы. Решите, какой релиз или набор функций охватывает матрица, и к каким сборкам и средам она применяется.
  2. Составьте список всех функций. Соберите полный список элементов в рамках охвата из авторитетных источников и присвойте каждому элементу уникальный стабильный идентификатор. В руководстве подчёркивается необходимость сохранять полный список, включая элементы без тестов. Список, составленный только по существующим тестам, не может показать то, что никогда не было связано с тестами.
  3. Сопоставьте каждый элемент с его тестами. Свяжите каждый элемент с тест-кейсами, обзорами или анализами, которые его оценивают, и проверьте, что эти проверки охватывают его ключевые критерии приёмки.
  4. Фиксируйте результаты и проводите проверку. Записывайте результат для соответствующей сборки, связывайте дефекты с затронутыми результатами, согласуйте, что считается подтверждённым, и проверяйте матрицу на отсутствующие связи и устаревшие тест-кейсы.

Начинайте с самых важных потоков и делайте это для каждой новой функции по мере её появления. У каждой QA-команды свой рабочий процесс, поэтому держите шаги лёгкими. Небольшая, но актуальная матрица ценнее полной, которой никто не доверяет.

Когда команда решает автоматизировать проверку, картина меняется лишь немного. Автоматизированный тест — это по-прежнему всего один тест-кейс, а покрытие автоматизацией — это доля сопоставленных функций, тесты которых выполняются без участия тестировщика. Выведите его в отдельный столбец рядом с ручными тест-кейсами, чтобы команда видела, сколько проверок автоматизировано, а сколько по-прежнему зависит от людей. Метрики покрытия такого рода помогают планированию, но действие определяет число непротестированных функций высокого риска в бэклоге.

Что включить в матрицу покрытия

TestRail перечисляет столбцы, которые может содержать полная матрица. Для небольшой QA-команды достаточно следующих:

  • Идентификатор требования или функции и краткое описание.
  • Приоритет или риск, чтобы пробелы читались в правильном порядке.
  • Идентификаторы связанных тест-кейсов, которые могут включать как ручные тест-кейсы, так и автоматизированные из вашего набора сквозного тестирования.
  • Последний результат и сборка, чтобы матрица показывала, что произошло и когда.
  • Статус, например: не покрыто, покрыто, пройдено, провалено или заблокировано.
  • Ответственный — человек, который отвечает за строку.

PractiTest в статье о матрице трассировки требований описывает трассируемость в двух направлениях: от функции к её тестам и от теста обратно к функции, которую он поддерживает. Оба направления полезны по-разному. Первое показывает, что есть у функции. Второе показывает, зачем существует тест и какие тесты стоит пересмотреть, когда меняется требование.

Читаем матрицу: пробелы, глубина и возраст

Матрица полезна ровно настолько, насколько полезны вопросы, которые вы ей задаёте.

  • Пробелы в сопоставлении. У каких функций нет связанного теста? TestRail определяет покрытие сопоставлением как долю тестируемых требований из области охвата, к которым привязан хотя бы один тест.
  • Пробелы в валидации. TestRail однозначно указывает, что связанный тест показывает задокументированное покрытие, а не успешную валидацию. Посмотрите на последний результат: тест запускался и прошёл ли он?
  • Глубина. PractiTest предупреждает, что можно протестировать что-то полностью в процентах, но не обязательно хорошо по глубине. Один тест на функцию может быть слишком поверхностным, и важны комбинации требований.
  • Возраст. Тест, который не запускался месяцами, мало что говорит о сегодняшней сборке. Показывайте дату последнего запуска.
  • Сиротские тесты. Тесты, не связанные ни с чем, могут защищать риск, которого нет в вашем списке функций. TestRail советует проверять несвязанные тесты, прежде чем их удалять.

Короткий список из пяти самых рискованных пробелов полезнее на встрече по релизу, чем таблица из двухсот строк.

Где инструменты покрытия кода по-прежнему полезны

В заметке Мартина Фаулера о покрытии тестами инструмент покрытия назван «полезным инструментом для поиска непротестированных частей кодовой базы», и Фаулер советует время от времени запускать такие инструменты, чтобы изучать непротестированный код. Он также пишет, что покрытие мало что говорит как числовая оценка качества тестов, потому что высокие показатели слишком легко получить при низкокачественном тестировании. К стопроцентному результату он относится с подозрением, а покрытие ниже примерно половины считает признаком проблем. Он добавляет, что покрытие полезнее всего тем, кто пишет тесты, поскольку для его чтения нужно техническое суждение.

Для QA-лида из этого следует разделение работы. По нашему мнению, разработчики читают отчёт о покрытии для своих модульных и интеграционных тестов, а команда QA использует матрицу функций, чтобы усилить покрытие тестами там, где бизнес-риск максимален, как при ручном тестировании, так и при автоматизации. Ни одна цифра сама по себе не даёт уверенности в релизе. Обе они являются картой тестовых усилий, а не доказательством качества продукта.

Поддерживайте её в актуальном состоянии

Устаревшая матрица хуже её отсутствия, потому что ей доверяют. TestRail рекомендует пересматривать её на этапе планирования, после изменений и перед решениями о релизе, а также сохранять датированный снимок, когда нужны доказательства, стоящие за решением. Инструмент также советует назначить координатора и владельцев для запросов на изменения, обновлений тестов и решений о проверке. PractiTest добавляет, что матрица должна быть доступна всем, кому она нужна, и предупреждает, что рассылка копий таблиц по электронной почте приводит к путанице в том, какая версия актуальна.

Храните одну общую версию. Если вы используете инструмент управления тестированием, пусть он обновляет связи и результаты по мере выполнения тестов, чтобы матрица не зависела от чьей-то памяти. Это также поддерживает ваше регрессионное тестирование, потому что связи показывают, какие регрессионные тесты нужно перезапустить после изменения.

Пример: 40 функций, три разных числа

Числа вымышленные.

QA-лид отслеживает 40 функций приложения для управления заказами. Матрица показывает три разных картины.

  • Сопоставлено: у 31 из 40 функций есть как минимум один связанный тест. Это 77,5 процента покрытия сопоставлением.
  • Проверено: из этих 31 функции 22 прошли на последней сборке. Пять завершились с ошибкой или заблокированы, а четыре не запускались 90 дней. Покрытие проверенными функциями составляет 22 из 40, или 55 процентов.
  • Пробелы: у 9 функций нет ни одного теста. Три из них относятся к группе высокого риска: возвраты, переопределение цен и изменение ролей пользователей.

Лид представляет владельцу продукта второе число, а не первое. Следующий спринт команды добавляет тесты для трёх пробелов высокого риска, исправляет пять упавших или заблокированных тестов и перезапускает четыре устаревших. Процент на дашборде растёт, и растёт уверенность, которая за ним стоит. Матрица, показывающая только 77,5 процента, скрыла бы проблему.

Распространённые ошибки

  • Учёт покрытия кода как покрытия функций. Выполненные строки кода ничего не говорят о непротестированных бизнес-функциях.
  • Построение матрицы только по существующим тестам. Вы никогда не увидите то, для чего тестов нет.
  • Принятие связи за доказательство. Показывайте последний результат для каждой сборки.
  • Погоня за процентом. Цель в 100 процентов провоцирует поверхностные тесты, которые лишь касаются каждой функции.
  • Допускать устаревание матрицы. Пересматривайте её на этапе планирования, после изменений и перед релизом.
  • Хранение копий в почте. Несколько версий приводят к спорам о том, какая из них верна.

Как может помочь программное обеспечение

Таблица — разумное начало. Инструмент управления тестированием может связывать тесты с функциями и автоматически обновлять результаты, что избавляет от ручной поддержки. Genta by Cognillo — один из примеров. По словам поставщика, он включает управление тест-кейсами и наборами с отслеживанием покрытия функций, запланированные запуски и дашборды, экспортируемые в Excel, CSV или PDF. Это заявления поставщика, которые M365.FM не проверяла. Сравните его с другими вариантами и уточните, как каждый инструмент связывает результаты с требованиями, прежде чем делать выбор.

Раскрытие информации: Cognillo спонсирует M365.FM.

Следующий шаг

Возьмите свой самый важный бизнес-процесс, перечислите его десять функций и сопоставьте каждую с её тестами в простой матрице с последним результатом и датой. Затем принесите три самых крупных пробела на следующее собрание по релизу и договоритесь, кто с этого момента отвечает за отслеживание покрытия функций тестами.

Entities in this article

End-to-end testing Regression testing Genta Automation

Related articles

RSS