Покриття тестами для бізнес-застосунків: як відстежувати, що справді протестовано
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Відстеження покриття функцій тестами показує, які функції бізнес-застосунку мають тести, а які ні. Побудуйте матрицю покриття, читайте її прогалини та тримайте її актуальною.
Automatically translated with AI from the original post. Read the English original
Відстеження покриття функцій тестами відповідає на одне просте запитання щодо бізнес-застосунку: які функції мають тест і що сталося під час його останнього запуску? Цей посібник призначено для QA-лідів, які підтримують тести для галузевих застосунків і потребують чіткої картини для нарад щодо релізів. Ви побачите, чим покриття тестами в тестуванні програмного забезпечення відрізняється від покриття коду, як вимірювати покриття тестами за допомогою матриці покриття та як тримати її актуальною. Розрахунковий приклад з вигаданими цифрами показує, чому високий відсоток зіставлених функцій може все одно приховувати прогалини.
Головне
- Покриття тестами відповідає на питання, які функції, вимоги та сценарії використання мають тести, тоді як покриття коду вимірює лише те, скільки вихідного коду виконалося під час тестування.
- Матриця покриття зіставляє кожну вимогу або функцію з тест-кейсами, які її перевіряють, разом із пріоритетом, результатами, статусом і відповідальним.
- Прив'язаний тест показує задокументоване покриття, а не успішну валідацію, тому відстежуйте результати для кожної збірки поруч із посиланнями.
- Починайте з повного списку функцій, включно з тими, що не мають тестів, адже матриця, побудована лише з наявних тестів, не покаже те, що ніколи не тестувалося.
- Переглядайте матрицю під час планування, після змін і перед рішеннями про випуск, і зберігайте датовані знімки як доказ.
Що означає покриття тестами і чого воно не означає
Стаття Perforce про покриття тестами проти покриття коду розділяє два поняття, які команди часто плутають.
- Покриття тестами стосується функцій і сценаріїв використання. Воно допомагає побачити, чи враховано всі необхідні сценарії, і стаття називає його хорошим індикатором ризику. Його оцінюють за такими показниками, як специфікації, ризик, функціональність і продукт.
- Покриття коду — це вимірювання того, яка частина вихідного коду застосунку виконалася під час тестування, часто виражене відсотком рядків. Воно показує, який код протестовано, а який ні.
Для бізнес-застосунку, наприклад системи замовлень або HR-порталу, перше поняття зазвичай важливіше для людей, які покладаються на програмне забезпечення. Менеджера цікавить, чи протестовано погодження рахунку, а не те, чи виконався рядок 4200.
Та сама стаття застерігає від надто щедрого прочитання будь-якого з цих чисел. Покриття коду необов'язково означає якість коду, а покриття тестами не гарантує відсутності помилок у застосунку. Якщо тести слабкі, слабким буде і покриття. Сприймайте покриття як карту того, де ви перевіряли, а не як оцінку.
Відстеження покриття функцій тестами у чотири кроки
Посібник TestRail про матрицю відстежуваності вимог описує метод, який для відстеження покриття функцій тестами можна звести до чотирьох кроків.
- Визначте обсяг. Вирішіть, на який реліз або набір функцій поширюватиметься матриця, а також до яких збірок і середовищ вона застосовується.
- Складіть список усіх функцій. Зберіть повний перелік функцій, що входять до обсягу, з авторитетних джерел і призначте кожному елементу унікальний стабільний ідентифікатор. Посібник наголошує на збереженні повного списку, включно з елементами без тестів. Список, складений лише з наявних тестів, не може показати те, що ніколи не було прив'язано.
- Зіставте кожен елемент із його тестами. Прив'яжіть кожен елемент до тестових випадків, перевірок або аналізів, які його оцінюють, і переконайтеся, що ці перевірки охоплюють його ключові критерії приймання.
- Фіксуйте результати та переглядайте матрицю. Записуйте результат для відповідної збірки, пов'язуйте дефекти з відповідними результатами, домовляйтеся, що вважається підтвердженим, і регулярно переглядайте матрицю на предмет відсутніх зіставлень і застарілих випадків.
Почніть із найважливіших потоків і далі додавайте кожну нову функцію, щойно вона з'являється. Кожна команда QA має власний робочий процес, тож тримайте кроки легкими. Невелика, але актуальна матриця цінніша за повну, якій ніхто не довіряє.
Якщо команда вирішує автоматизувати перевірку, картина змінюється лише трохи. Автоматизований тест усе одно є лише одним тестовим випадком, а покриття автоматизацією означає частку зіставлених функцій, тести яких виконуються без участі тестувальника. Виведіть це окремим стовпцем поруч із ручними випадками, щоб команда бачила, яка частина автоматизована, а яка досі залежить від людей. Такі метрики покриття допомагають плануванню, але саме backlog непротестованих функцій високого ризику спонукає до дій.
Що включити до матриці покриття
TestRail перелічує стовпці, які може містити повна матриця. Для невеликої команди QA їх достатньо таких:
- Ідентифікатор вимоги або функції та короткий опис.
- Пріоритет або ризик, щоб прогалини читалися у правильному порядку.
- Ідентифікатори пов'язаних тестових випадків, які можуть включати як ручні, так і автоматизовані випадки з вашого набору наскрізного тестування.
- Останній результат і збірка, щоб матриця показувала, що сталося і коли.
- Статус, наприклад: не покрито, покрито, пройдено, не пройдено або заблоковано.
- Власник, тобто особа, яка відповідає за рядок.
PractiTest у статті про матрицю трасування вимог описує трасування у двох напрямках: від функції до її тестів і від тесту назад до функції, яку він підтримує. Обидва напрямки корисні по-різному. Перший показує, що має функція. Другий пояснює, навіщо існує тест і які тести переглянути, коли змінюється вимога.
Читання матриці: прогалини, глибина та давність
Матриця корисна лише настільки, наскільки корисні запитання, які ви ставите до неї.
- Прогалини в зіставленні. Які функції не мають жодного пов'язаного тесту? TestRail визначає покриття зіставленням як частку тестованих вимог у межах об'єкта, які мають щонайменше один пов'язаний тест.
- Прогалини в перевірці. TestRail чітко зазначає, що пов'язаний тест показує задокументоване покриття, а не успішну перевірку. Подивіться на останній результат: чи запускався тест і чи він пройшов?
- Глибина. PractiTest застерігає, що за відсотком можна виглядати повністю протестованим, але не обов'язково добре в глибині. Один тест на функцію може бути замалим, і важливими можуть бути комбінації вимог.
- Давність. Тест, який не запускався місяцями, мало що говорить про поточну збірку. Показуйте дату останнього запуску.
- Осиротілі тести. Тести, не пов'язані ні з чим, можуть захищати ризик, якого не відображає ваш список функцій. TestRail радить переглядати непov'язані тести перед їх видаленням.
На нараді щодо релізу короткий список із п'яти найризикованіших прогалин корисніший за таблицю на двісті рядків.
Де інструменти покриття коду досі допомагають
Нотатка Мартіна Фаулера про покриття тестами називає інструмент покриття «корисним інструментом для пошуку неперевірених частин кодової бази» і радить час від часу запускати інструменти покриття, щоб переглядати неперевірений код. Він також пише, що покриття мало корисне як числова оцінка якості ваших тестів, адже високі показники занадто легко досягти за допомогою низькоякісного тестування. До цифри на кшталт 100 відсотків він ставився б із підозрою, а покриття нижче приблизно половини вважає ознакою проблем. Він додає, що покриття найкорисніше для тих, хто пише тести, адже для його читання потрібне технічне судження.
Для QA-лідера з цього випливає розподіл роботи. На нашу думку, розробники читають звіт про покриття для своїх модульних і інтеграційних тестів, а команда QA використовує матрицю функцій, щоб покращувати тестове покриття там, де бізнес-ризик найвищий, як у ручному тестуванні, так і в автоматизації тестів. Жодна цифра сама по собі не дає впевненості в релізі. Обидві — це карта тестових зусиль, а не доказ якості продукту.
Тримайте її актуальною
Застаріла матриця гірша за відсутність матриці, бо їй довіряють. TestRail рекомендує переглядати її під час планування, після змін і перед рішеннями про випуск, а також зберігати датований знімок, коли потрібні докази для конкретного рішення. Крім того, платформа радить призначати координатора та відповідальних за запити на зміни, оновлення тестів і рішення щодо перевірки. PractiTest додає, що матриця має бути видимою для всіх, кому вона потрібна, і попереджає: копії таблиць, надіслані електронною поштою, призводять до плутанини щодо того, яка версія актуальна.
Ведіть одну спільну версію. Якщо ви використовуєте інструмент керування тестуванням, нехай він оновлює посилання та результати під час виконання тестів, щоб матриця не залежала від чиєїсь пам'яті. Це також підтримує ваше регресійне тестування, бо посилання показують, які регресійні тести потрібно повторно запустити після зміни.
Приклад: 40 функцій, три різні цифри
Цифри вигадані.
QA-лідер веде облік 40 функцій застосунку для управління замовленнями. Матриця показує три різні картини.
- Зіставлено: 31 із 40 функцій мають принаймні один прив'язаний тест. Це 77,5 відсотка покриття зіставленням.
- Перевірено: із цих 31 функції 22 пройшли на останній збірці. П'ять завершилися з помилкою або заблоковані, а чотири не запускалися 90 днів. Покриття перевіреними функціями становить 22 з 40, або 55 відсотків.
- Прогалини: 9 функцій не мають жодного тесту. Три з них є високоризиковими: повернення коштів, перевизначення цін і зміна ролей користувачів.
Лідер представляє власнику продукту другу цифру, а не першу. Наступний спринт команди додає тести для трьох високоризикових прогалин, виправляє п'ять тестів із помилками або блокуваннями та повторно запускає чотири застарілі. Відсоток на панелі зростає, і разом з ним зростає впевненість, що стоїть за ним. Матриця, яка показувала б лише 77,5 відсотка, приховала б проблему.
Типові помилки
- Рахувати покриття коду як покриття функцій. Виконані рядки коду нічого не кажуть про непротестовані бізнес-функції.
- Будувати матрицю лише з наявних тестів. Ви ніколи не побачите того, для чого немає тесту.
- Вважати посилання доказом. Показуйте останній результат для кожної збірки.
- Гнатися за відсотком. Мета в 100 відсотків заохочує поверхневі тести, які лише торкаються кожної функції.
- Допускати, що матриця застаріє. Переглядайте її під час планування, після змін і перед випуском.
- Зберігати копії в електронній пошті. Кілька версій призводять до суперечок про те, яка з них правильна.
Як може допомогти програмне забезпечення
Таблиця — непоганий початок. Інструмент керування тестуванням може пов'язувати тести з функціями та автоматично оновлювати результати, що заощаджує ручне обслуговування. Genta від Cognillo — один із прикладів. За словами постачальника, він включає керування тестовими випадками й наборами з відстеженням покриття функцій, заплановані запуски та панелі, які експортуються в Excel, CSV або PDF. Це твердження постачальника, які M365.FM не перевіряла. Порівняйте його з іншими варіантами та перевірте, як кожен інструмент пов'язує результати з вимогами, перш ніж обирати.
Розкриття: Cognillo спонсорує M365.FM.
Наступний крок
Візьміть свій найважливіший бізнес-процес, складіть перелік його десяти функцій і зіставте кожну з її тестами в простій матриці з останнім результатом і датою. Потім принесіть три найбільші прогалини на наступну нараду щодо релізу та домовтеся, хто відтоді відповідатиме за відстеження покриття функцій тестами.