Тестовые доказательства для аудитов: скриншоты, логи и записи о прохождении тестов
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Автоматизированные тестовые доказательства для аудитов: что должен фиксировать руководитель QA, как сохранить скриншоты, логи и записи о прохождении тестов пригодными для проверки и как отвечать аудитору.
Automatically translated with AI from the original post. Read the English original
Автоматизированные тестовые доказательства для аудитов — это набор записей, который подтверждает, что тест был выполнен, показывает, что именно он проверял, и фиксирует результат в таком виде, чтобы посторонний человек смог проверить их спустя месяцы. Это руководство предназначено для руководителей QA, чьи команды должны предоставить подтверждения во время проверки соответствия или валидации. Вы узнаете, что ищет аудитор, какие части выполнения теста стоит сохранять, насколько подробно фиксировать данные и как их организовать. Практический пример с условными цифрами показывает, как команда переходит от поисков в спешке к ответу за пять минут.
Ключевые выводы
- Аудитору нужно увидеть только по записям, что было протестировано, что ожидалось, что произошло и кто или что выполнило тест, поэтому одной отметки «пройден» или «не пройден», как правило, мало.
- Полезное доказательство состоит из пяти частей: скриншотов или записей экрана, журналов выполнения, вложений, например тестовых данных, метаданных выполнения и ссылок от сбоев на дефекты.
- Скриншоты юридически не обязательны, а системные журналы могут служить доказательством, если они надежны и сам инструмент автоматизации тестирования валидирован.
- Глубину доказательств выбирайте в соответствии с риском: полные записи ведите для функций высокого риска и более краткие — для функций низкого риска.
- Привязывайте каждый тест к требованию и измеряйте, как быстро вы можете собрать полный комплект доказательств по одному требованию.
Что на самом деле запрашивают аудиторы
Аудитору не нужен ваш тестовый инструмент. Аудитор хочет оценить, делает ли ваш продукт то, что должен, и подтверждают ли ваши собственные записи этот факт. В статье Johner Institute о объективных доказательствах, написанной для качества медицинских изделий, сказано: документация должна быть достаточно подробной, чтобы непричастный человек мог понять, что было сделано и почему требования считаются выполненными.
В той же статье описаны четыре уровня детализации тестовых записей — от простой отметки «пройден» или «не пройден» до полного видео. Первый уровень признан недостаточным, второй обеспечивает ограниченную прослеживаемость, а начиная с третьего уровня, то есть со скриншотов, у проверяющих должно быть достаточно материала для работы. Там же указано, что одна лишь отметка «пройден» или «не пройден», как правило, не принимается.
В вашей сфере действуют собственные правила, но почти в любой системе или стандарте возникают одни и те же вопросы:
- Что было протестировано и какому требованию это соответствует?
- Что, по вашим ожиданиям, должно было произойти?
- Что произошло и кто или что выполнило тест?
- Когда и в какой среде это произошло?
- Если тест не прошел, что вы с этим сделали?
Аудиторское доказательство, которое отвечает на эти пять вопросов без дополнительных разговоров, — это признак хорошо оформленного комплекта. Рассматривайте это как часть готовности к аудиту для вашей тестовой команды, чтобы быть готовыми к аудиту весь год, а не только в недели перед проверкой.
Автоматизированные тестовые доказательства для аудитов: что фиксировать
В руководстве TestCollab по стратегии тестовых доказательств названы пять видов доказательств. Этот список удобно использовать как контрольный для любой документации:
- Скриншоты и записи экрана. Визуальное подтверждение состояния экрана, сообщений об ошибках и сбоев; особенно полезно при сквозном тестировании в браузере.
- Журналы выполнения. Пошаговые записи о том, что прошло успешно, что завершилось с ошибкой и по какой причине.
- Вложения. Тестовые данные, снимки конфигурации, ответы API или экспортированные отчёты.
- Метаданные выполнения. Кто запустил прогон, когда, в какой среде и с какой конфигурацией.
- Ссылки на дефекты. Связь между каждым упавшим тестом и его тикетом с ошибкой.
Автоматизация сбора доказательств — естественный следующий шаг, и команды, которые её автоматизируют, перестают полагаться на память. Инструмент может прикреплять скриншот при сбое и отправлять результаты вместе с вложениями в систему управления тестированием, а такие автоматически собранные доказательства не требуют, чтобы кто-то что-то помнил. В руководстве есть полезное замечание: доказательства, зафиксированные во время теста, точнее тех, что восстанавливаются позже. Хороший захват доказательств, при котором записи хранятся рядом с результатами, лучше таблицы, которую кто-то заполняет перед аудитом.
Не каждому тесту нужны все артефакты. В руководстве сказано, что для дымового теста может хватить только статуса, для приёмочного теста может понадобиться скриншот каждого критичного экрана, а для регрессионного теста — записи выполнения и данные об окружении. Запишите эти правила один раз для каждого типа тестов, чтобы процесс аудита не зависел от догадок.
Скриншоты, журналы или видео: сколько достаточно
Йонер выделяет три момента, которые экономят время.
- Скриншоты не являются юридическим требованием. Это один из способов показать, что произошло, например, что появилось конкретное предупреждение.
- Журналы могут служить доказательством. Условия таковы: вывод на экран и записи совпадают, результаты оцениваются по требованиям, инструмент автоматизации тестирования валидирован, а записи соответствуют применимым правилам, например 21 CFR Part 11 для электронных записей в США.
- У видео есть издержки. Оно показывает выполнение, но не оценивает результат, его долго просматривать, оно занимает много места в хранилище и неудобно для регрессионного тестирования.
Проект руководства FDA по обеспечению качества компьютерного ПО, разобранный в статье Jama Software, движется в том же направлении. Согласно этой статье, скриншоты не обязательны, а в качестве записи могут служить системные журналы, журналы аудита и другие электронные данные. Запись должна показывать предполагаемое назначение, определение уровня риска, выполненные мероприятия по обеспечению качества, выявленные проблемы и вывод о том, приемлемы ли результаты. В статье также описан подход, основанный на рисках: сценарное тестирование для функций высокого риска и несценарное тестирование для функций более низкого риска. Проверьте, какая версия руководства применима к вам, поскольку в статье описан проект.
Практическое правило: глубина записи должна соответствовать риску. Ведите полные записи, с шагами, ожидаемыми результатами, скриншотами и журналами там, где сбой может навредить людям, деньгам или соответствию требованиям.
Йонер также упоминает тестовых роботов, которые имитируют действия пользователя и фиксируют реакции, при этом ИИ может помогать в оценке. Если вы используете ИИ для оценки результатов, относитесь к его выводам как к черновику, оставляйте ответственность за вердикт за человеком и валидируйте функции ИИ так же, как любую другую часть инструмента. Вердикт ИИ без записи хода рассуждений — слабое доказательство, а проверки с участием ИИ требуют той же записи, что и любые другие проверки. Автоматизировать фиксацию этой записи тоже можно.
Сделайте запись достоверной и легко находимой
Ручной сбор доказательств означает ручную работу, а ручная работа провоцирует человеческие ошибки, особенно в период аудита, когда команды прикрепляют доказательства вручную. Доказательство, которое невозможно найти или которое кто-то мог изменить, — слабое доказательство. Помогают четыре привычки.
- Связывайте каждый тест с требованием. TestCollab рекомендует связывать каждый тест с требованием, которое он проверяет, чтобы доказательство показывало, какой тест покрыл какое требование и с каким результатом. Матрица прослеживаемости может создавать эти связи автоматически.
- Сохраняйте журнал аудита выполнения тестов. Храните историю, чтобы рецензент мог увидеть каждое выполнение теста, а не только последнее успешное. Неудачные запуски, которые были исправлены и повторены, должны оставаться в истории.
- Контролируйте, кто и что может менять. Ограничьте права на редактирование результатов и вложений, а также фиксируйте, кто изменил тест или его ожидаемый результат. Спросите у команды качества, нужны ли вам формальные подписи.
- Добавьте этап проверки. TestCollab предлагает пользовательский статус, например «Needs Evidence Review», который не позволяет отметить тест как завершённый, пока не прикреплены все необходимые артефакты.
В том же руководстве предлагаются три показателя, которые можно отслеживать:
- Полнота доказательств: доля выполнений тестов, для которых прикреплены нужные артефакты. В качестве примера приводится показатель 60 процентов при политике, требующей скриншоты, — это указывает на проблему в процессе.
- Время до появления доказательств: как быстро после выполнения теста прикрепляются артефакты.
- Скорость поиска: можно ли получить полный комплект доказательств по любому требованию менее чем за пять минут, что, по рекомендации руководства, является целевым стандартом.
Имейте в виду, что руководство не охватывает вопросы о том, как долго хранить записи и как предотвратить их подмену. Ответы на них дают ваш регулятор, ваши договоры и ваша собственная политика. Если ваша компания также работает по такому фреймворку соответствия, как SOC 2, уточните у ответственного за соответствие, могут ли одни и те же записи использоваться для обоих, и подключите рабочий процесс тестирования к вашему конвейеру через интеграцию, чтобы записи поступали без ручного копирования.
Какие задачи по доказательствам автоматизировать, а какие требуют участия человека
Автоматизация доказательств лучше всего работает на повторяющихся шагах: сборе данных из результатов запусков тестов, прикреплении логов и скриншотов, а также привязке каждого результата к его требованию. На наш взгляд, это избавляет от рутинной работы по ручному сбору доказательств перед каждым раундом подготовки к аудиту. Человек всё равно должен проверять подтверждающие доказательства, потому что только человек может определить, подтверждают ли они конкретный контроль или требование аудита. Храните скрипты тестов, логи и результаты запусков в одном хранилище, которое служит единым источником истины, и используйте одни и те же доказательства соответствия для каждого фреймворка, который их запрашивает, если с этим согласна ваша команда качества.
Пример: от суеты до пяти минут
Цифры вымышленные.
QA-руководитель поддерживает приложение для выставления счетов, которое попадает под внутреннюю проверку контролей. Команда выполняет 60 автоматизированных тестов перед каждым релизом. Перед проверкой рецензент выбирает пять требований и запрашивает подтверждение тестирования.
Первая попытка проходит болезненно. Результаты тестов находятся в выводе конвейера, который истекает через 30 дней. Скриншоты есть только для 27 из 60 выполнений, что даёт полноту доказательств 45 процентов. Никто не может сказать, какой тест покрывает кредитовые авизо. Команде требуется два дня, чтобы ответить, и ответ содержит пробелы.
После проверки руководитель вносит четыре изменения. Каждому тесту присваивается идентификатор требования. Конвейер прикрепляет скриншот и запись о выполнении к каждому неудачному шагу, а к каждому критичному тесту — финальный скриншот. Результаты вместе с историей переносятся в хранилище, которое сохраняется на весь период проверки, а статус проверки блокирует завершение, пока не прикреплены артефакты. Руководитель также пишет одностраничное правило для каждого типа тестов.
На следующей проверке рецензент снова запрашивает пять требований. Команда экспортирует историю по каждому из них примерно за пять минут на требование. Полнота доказательств теперь составляет 58 из 60 выполнений, а два исключения — задокументированные дымовые тесты только со статусом, как и разрешает правило.
Распространённые ошибки
- Фиксация только успеха или провала. Рецензент не может понять, что именно проверялось.
- Сбор доказательств задним числом. Восстановленные записи менее точны и выглядят слабее.
- Запись всего и всегда. Полное видео для каждого теста требует места в хранилище и времени на проверку, при этом мало что из этого реально просматривается.
- Отсутствие связи с требованиями. Без прослеживаемости невозможно показать, что именно доказывает тест.
- Удаление истории. Рецензенты могут спрашивать о неудачных выполнениях, а не только об итоговом результате.
- Слепое доверие инструменту тестирования. Если его записи являются вашими доказательствами, сам инструмент, создавший эти записи, может также требовать валидации.
Как может помочь программное обеспечение
Начните с системы управления тестированием и CI-системы. Они могут хранить результаты, прикреплять артефакты и вести историю. Некоторые инструменты тестирования и платформы добавляют функции для работы с доказательствами. Одним из примеров является Genta by Cognillo. По словам поставщика, он фиксирует результат «пройдено» или «не пройдено» со скриншотами, логами и артефактами сбоев, а также предлагает управление доступом на основе ролей, журнал аудита и экспорт дашбордов в Excel, CSV или PDF. Это заявления поставщика, которые M365.FM не проверял. Сравните инструменты в пилотном проекте и проверьте, соответствуют ли записи вашим собственным требованиям compliance.
Раскрытие информации: Cognillo спонсирует M365.FM.
Следующий шаг
Выберите одну функцию, подпадающую под регулирование, и запишите, какие пять фактов аудитор должен увидеть в её тестах. Затем сверьте последний запуск тестов с этим списком и используйте выявленные пробелы, чтобы сформулировать своё правило для автоматизированных доказательств тестирования при аудитах.