Тестові докази для аудитів: скриншоти, логи та записи про пройдено/не пройдено
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Автоматизовані тестові докази для аудитів: що має зафіксувати QA-лідер, як зробити скриншоти, логи та записи про результати придатними для перевірки і як відповісти аудитору.
Automatically translated with AI from the original post. Read the English original
Автоматизовані тестові докази для аудитів — це набір записів, який підтверджує, що тест було виконано, показує, що саме він перевіряв, і фіксує, що сталося, у вигляді, зрозумілому стороння людина, яка перегляне їх через місяці. Цей посібник призначено для QA-лідерів, чиї команди мають надати докази під час перевірки на відповідність або валідації. Ви дізнаєтеся, що шукає аудитор, які частини виконання тесту варто зберігати, наскільки детально фіксувати і як це організувати. Розгорнутий приклад з вигаданими цифрами показує, як команда переходить від метушні до відповіді за п’ять хвилин.
Головне
- Аудитору потрібно бачити лише з записів, що було протестовано, чого очікували, що сталося і хто або що виконало тест, тому самого «пройдено» або «не пройдено» зазвичай недостатньо.
- Корисний доказ має п’ять складових: скриншоти або записи екрана, журнали виконання, вкладення, зокрема тестові дані, метадані виконання і посилання від дефектів до невідповідностей.
- Скриншоти юридично не обов’язкові, а системні журнали можуть слугувати доказом, якщо журналам можна довіряти і сам інструмент автоматизації тестів валідовано.
- Глибину доказів підбирайте відповідно до ризику: повні записи для функцій з високим ризиком і спрощені — для функцій з низьким.
- Прив’яжіть кожен тест до вимоги і виміряйте, як швидко ви можете зібрати повний набір доказів для однієї вимоги.
Що насправді запитують аудитори
Аудитору не потрібен ваш тестовий інструмент. Аудитор хоче оцінити, чи робить ваш продукт те, що має робити, і чи це підтверджують ваші власні записи. У статті Johner Institute про об’єктивні докази, написаній для якості медичних виробів, це сформульовано так: документація має бути достатньо детальною, щоб стороння людина зрозуміла, що було зроблено і чому вимоги виконано.
Та сама стаття описує чотири рівні деталізації тестових записів: від простого «пройдено» або «не пройдено» до повного відео. Перший рівень вона визнає недостатнім, другий, за її словами, дає обмежену простежуваність, а з третього рівня, зі скриншотами, рецензентам має вистачати матеріалу для роботи. Вона також зазначає, що самі лише «пройдено» або «не пройдено» зазвичай не приймаються.
Ваша галузь має власні правила, але майже в будь-якій рамці або стандарті постають одні й ті самі питання:
- Що було протестовано і якій вимозі це відповідає?
- Чого ви очікували?
- Що сталося і хто або що виконало тест?
- Коли і в якому середовищі це відбулося?
- Якщо тест не пройшов, що ви з цим зробили?
Аудиторські докази, які відповідають на ці п’ять питань без додаткових пояснень, — ось що означає добре зібраний файл. Розглядайте це як частину готовності до аудиту для вашої тестової команди, щоб бути готовими до аудиту весь рік, а не лише в тижні перед перевіркою.
Автоматизовані тестові докази для аудитів: що фіксувати
Посібник TestCollab щодо стратегії тестових доказів називає п’ять видів доказів. Це зручний контрольний список для будь-якої документації:
- Скриншоти та записи. Візуальне підтвердження стану екрана, повідомлень про помилки та збоїв. Найбільше користі це приносить під час end-to-end тестування у браузері.
- Журнали виконання. Покрокові записи того, що пройшло, що не пройшло і чому.
- Вкладення. Тестові дані, знімки конфігурації, відповіді API або експортовані звіти.
- Метадані виконання. Хто запустив прогін, коли, в якому середовищі та з якою конфігурацією.
- Посилання на дефекти. Зв'язок між кожним невдалим тестом і його тікетом про помилку.
Автоматизація збору доказів — наступний природний крок, і команди, які її впроваджують, перестають покладатися на пам'ять. Інструмент може прикріпити скриншот у разі невдачі та надіслати результати разом із вкладеннями в систему керування тестуванням. Автоматизовані докази такого типу нікого не змушують щось пам'ятати. У гіді є корисне зауваження: докази, зафіксовані під час тесту, точніші за докази, відтворені пізніше. Якісне фіксування доказів, коли записи зберігаються поруч із результатами, краще за таблицю, яку хтось заповнює перед аудитом.
Не кожному тесту потрібні всі артефакти. У гіді зазначено, що для димового тесту може вистачити лише статусу, для приймального тесту може знадобитися скриншот кожного критичного екрана, а для регресійного тесту можуть знадобитися записи виконання та дані про середовище. Запишіть ці правила один раз для кожного типу тестів, щоб процес аудиту не залежав від здогадок.
Скриншоти, журнали чи відео: скільки достатньо
Йонер наводить три міркування, які економлять час.
- Скриншоти не є законодавчою вимогою. Це один зі способів показати, що сталося, наприклад, що з'явилося конкретне попередження.
- Журнали можуть слугувати доказом. Умови такі: вивід на екрані та записи збігаються, результати оцінено відносно вимог, інструмент автоматизації тестування валідовано, а записи відповідають чинним правилам, наприклад 21 CFR Part 11 для електронних записів у США.
- Відео має свою ціну. Воно показує виконання, але не оцінює результат, його довго переглядати, воно займає багато сховища і незручне для регресійного тестування.
Проєкт настанов FDA щодо забезпечення довіри до комп'ютерного програмного забезпечення, як пояснено в статті Jama Software, рухається в тому самому напрямку. За цією статтею, скриншоти не вимагаються, а системні журнали, журнали аудиту та інші електронні дані можуть слугувати записом. Запис має показувати передбачуване використання, визначення ризику, виконані заходи із забезпечення довіри, виявлені проблеми та висновок про те, чи прийнятні результати. У статті також описано підхід, заснований на ризику: сценарне тестування для функцій високого ризику та безсценарне тестування для функцій нижчого ризику. Перевірте, яка версія настанов до вас застосовується, адже в статті описано проєкт.
Практичне правило таке: глибина запису має відповідати ризику. Ведіть повні записи з кроками, очікуваними результатами, скриншотами та журналами там, де збій може зашкодити людям, грошам або відповідності вимогам.
Йонер також згадує тестових роботів, які імітують дії користувача та фіксують реакції, при цьому ШІ може допомагати в оцінюванні. Якщо ви використовуєте ШІ для оцінки результатів, сприймайте його висновок як чернетку, залишайте відповідальною за вердикт людину і валідуйте функції ШІ так само, як будь-яку іншу частину інструмента. Вердикт ШІ без запису міркувань є слабким доказом, а перевірки з участю ШІ потребують такого самого запису, як і всі інші перевірки. Автоматизувати фіксування цього запису теж можна.
Зробіть запис достовірним і легко знаходженим
Ручний збір доказів означає ручну роботу, а ручна робота породжує людські помилки, особливо в період аудиту, коли команди прикріплюють докази вручну. Докази, які неможливо знайти або які хтось міг відредагувати, є слабкими. Допоможуть чотири звички.
- Прив'язуйте кожен тест до вимоги. TestCollab рекомендує пов'язувати кожен тест із вимогою, яку він перевіряє, щоб докази показували, який тест покрив яку вимогу і з яким результатом. Матриця відстежуваності може створювати ці зв'язки автоматично.
- Зберігайте журнал виконання тестів. Зберігайте історію, щоб рецензент міг побачити кожен запуск тесту, а не лише останній успішний. Невдалі запуски, які виправили й повторили, мають бути в історії.
- Контролюйте, хто що може змінювати. Обмежте права редагування результатів і вкладень, а також фіксуйте, хто змінив тест або його очікуваний результат. Запитайте у своєї команди якості, чи потрібні формальні підписи.
- Додайте етап перевірки. TestCollab пропонує власний статус на кшталт «Needs Evidence Review», який не дає позначити тест як завершений, доки не додано потрібні артефакти.
Той самий посібник пропонує три показники, які можна відстежувати:
- Покриття доказами: частка запусків тестів, для яких є потрібні артефакти. Приклад посібника: 60 відсотків при політиці, що вимагає скриншоти, вказують на проблему процесу.
- Час до появи доказів: як швидко після запуску до тесту прикріплюють артефакти.
- Швидкість отримання: чи можна зібрати повні докази для будь-якої вимоги менш ніж за п'ять хвилин, що посібник називає орієнтиром.
Майте на увазі, що посібник не охоплює питання того, як довго зберігати записи та як запобігти їх підробці. Ці відповіді дають ваш регулятор, ваші договори та ваша власна політика. Якщо ваша компанія також працює за рамками відповідності на кшталт SOC 2, запитайте у свого керівника з питань відповідності, чи можуть ті самі записи слугувати для обох вимог. А робочий процес тестування підключіть до конвеєра через інтеграцію, щоб записи надходили без ручного копіювання.
Які завдання з доказами автоматизувати, а які потребують людини
Автоматизація доказів найкраще працює з повторюваними кроками: збором даних із запусків тестів, прикріпленням журналів тестів і скриншотів та зв'язуванням кожного результату з його вимогою. На нашу думку, це позбавляє від рутини ручного збирання доказів перед кожним циклом підготовки до аудиту. Перевіряти супровідні докази все одно має людина, адже лише людина може оцінити, чи підтверджують вони конкретний контроль або вимогу аудиту. Зберігайте скрипти тестів, журнали тестів і результати запусків в одному сховищі, яке слугує джерелом істини, і використовуйте ті самі докази відповідності для кожного фреймворку, який їх вимагає, якщо це узгоджено з вашою командою якості.
Приклад: від метушні до п'яти хвилин
Цифри вигадані.
QA-лідер підтримує застосунок для виставлення рахунків, який підпадає під внутрішню перевірку контролів. Команда виконує 60 автоматизованих тестів перед кожним релізом. Перед перевіркою рецензент обирає п'ять вимог і просить докази тестування.
Перша спроба болюча. Результати тестів лежать у виводі конвеєра, який спливає через 30 днів. Скриншоти є лише для 27 із 60 запусків, тобто покриття доказами становить 45 відсотків. Ніхто не може сказати, який тест покриває кредитові авізо. Команді потрібні два дні, щоб відповісти, і відповідь має прогалини.
Після перевірки лідер вносить чотири зміни. Кожному тесту присвоюють ідентифікатор вимоги. Конвеєр прикріплює скриншот і запис про запуск до кожного невдалого кроку, а також фінальний скриншот до кожного критичного тесту. Результати разом з історією переносять до сховища, яке зберігається протягом усього періоду перевірки, а статус перевірки блокує завершення, доки не прикріплено артефакти. Лідер також пише одностильний однос торінковий регламент для кожного типу тестів.
Під час наступної перевірки рецензент знову питає про п'ять вимог. Команда експортує історію для кожної з них приблизно за п'ять хвилин на вимогу. Тепер покриття доказами становить 58 із 60 запусків, а два винятки задокументовано як димові тести лише зі статусом, що дозволено регламентом.
Типові помилки
- Зберігати лише «пройдено» або «не пройдено». Рецензент не може зрозуміти, що саме перевірялося.
- Збирати докази постфактум. Відновлені записи менш точні і виглядають слабшими.
- Записувати все й завжди. Повне відео для кожного тесту коштує місця в сховищі та часу на перевірку, а переглядається з нього дуже мало.
- Відсутній зв'язок із вимогами. Без простежуваності неможливо показати, що саме доводить тест.
- Викидати історію. Рецензенти можуть питати про невдалі запуски, а не лише про фінальний результат.
- Сліпо довіряти інструменту тестування. Якщо його записи є вашими доказами, сам інструмент, який їх створив, може потребувати валідації.
Як може допомогти програмне забезпечення
Почніть із системи управління тестуванням і CI-системи. Вони можуть зберігати результати, прикріплювати артефакти та вести історію. Деякі інструменти для тестування та платформи для тестування мають функції збору доказів. Одним із прикладів є Genta by Cognillo. За словами постачальника, він показує результат «пройдено» або «не пройдено» разом із знімками екрана, журналами та артефактами помилок, а також пропонує контроль доступу на основі ролей, журнал аудиту та експорт інформаційних панелей у Excel, CSV або PDF. Це твердження постачальника, і M365.FM їх не перевіряв. Порівняйте інструменти в пілотному проєкті та перевірте, чи відповідають записи вашим власним правилам відповідності.
Розкриття інформації: Cognillo є спонсором M365.FM.
Наступний крок
Виберіть одну регульовану функцію та запишіть, які п'ять фактів аудитор має побачити щодо її тестів. Потім перевірте останній запуск тестів за цим списком і використайте виявлені прогалини, щоб визначити ваше правило щодо автоматизованих доказів тестування для аудитів.