감사를 위한 테스트 증적: 스크린샷, 로그, 합격/불합격 기록
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
자동화 테스트 감사 증적: QA 리드가 무엇을 확보해야 하는지, 스크린샷, 로그, 합격/불합격 기록을 어떻게 검토 가능한 상태로 유지하는지, 그리고 감사관의 질문에 어떻게 답하는지를 다룹니다.
Automatically translated with AI from the original post. Read the English original
감사를 위한 자동화 테스트 증적은 테스트가 실행되었음을 입증하고, 무엇을 검증했는지 보여 주며, 무슨 일이 일어났는지 기술하는 기록들의 집합입니다. 이 기록은 몇 달이 지난 뒤에도 낯선 사람이 검토할 수 있는 형태여야 합니다. 이 가이드는 컴플라이언스 검토나 밸리데이션 과정에서 증명을 요구받는 QA 리드를 위한 것입니다. 감사관이 무엇을 확인하는지, 테스트 실행의 어떤 부분을 보관할 가치가 있는지, 얼마나 자세히 기록해야 하는지, 그리고 이를 어떻게 정리해야 하는지 살펴봅니다. 가상의 수치를 사용한 실제 사례를 통해, 한 팀이 허둥지둥 자료를 찾던 상황에서 5분 안에 답변할 수 있게 되는 과정을 보여 드립니다.
핵심 포인트
- 감사관은 기록만으로 무엇을 테스트했는지, 무엇을 기대했는지, 무슨 일이 일어났는지, 그리고 테스트를 누가 또는 무엇이 실행했는지 확인할 수 있어야 하므로, 합격 또는 불합격만 기록된 경우에는 대부분 충분하지 않습니다.
- 유용한 증적은 다섯 가지 요소로 구성됩니다. 스크린샷이나 녹화 영상, 실행 로그, 테스트 데이터 같은 첨부 파일, 실행 메타데이터, 그리고 실패 항목과 결함을 연결하는 링크입니다.
- 스크린샷이 법적으로 반드시 필요한 것은 아닙니다. 로그가 신뢰할 수 있고 테스트 자동화 도구 자체가 검증되어 있다면 시스템 로그도 증적으로 활용할 수 있습니다.
- 증적의 깊이는 위험도에 맞춰 조정하십시오. 위험도가 높은 기능에는 완전한 기록을, 위험도가 낮은 기능에는 간소한 기록을 남기면 됩니다.
- 모든 테스트를 요구 사항에 연결하고, 하나의 요구 사항에 대해 완전한 증적을 얼마나 빨리 꺼낼 수 있는지 측정하십시오.
감사관이 실제로 요청하는 것
감사관은 여러분의 테스트 도구를 보고 싶어 하지 않습니다. 감사관이 알고 싶은 것은 제품이 의도한 대로 동작하는지, 그리고 여러분의 기록이 그 사실을 보여 주는지입니다. 의료기기 품질을 다룬 Johner Institute의 객관적 증거(objective evidence) 관련 글은 이를 다음과 같이 설명합니다. 문서는 관련 없는 사람이 무엇을 수행했고 왜 요구 사항이 충족되었는지 이해할 수 있을 만큼 상세해야 합니다.
같은 글은 테스트 기록의 상세 수준을 네 단계로 나누어 설명하며, 가장 단순한 "통과" 또는 "미통과" 기록부터 전체 동영상까지 다룹니다. 첫 번째 단계는 불충분하다고 평가하고, 두 번째 단계는 추적성이 제한적이라고 보며, 세 번째 단계인 스크린샷부터는 검토자가 검토할 자료가 충분해진다고 설명합니다. 또한 단순한 합격 또는 불합격 기록은 일반적으로 인정되지 않는다고 말합니다.
분야마다 고유한 규칙이 있지만, 대부분의 프레임워크나 표준에서는 다음과 같은 질문이 공통적으로 등장합니다.
- 무엇을 테스트했고, 어떤 요구 사항을 기준으로 했습니까?
- 무엇이 일어나기를 기대했습니까?
- 실제로 무슨 일이 일어났고, 테스트를 누가 또는 무엇이 실행했습니까?
- 언제, 어떤 환경에서 일어났습니까?
- 실패했다면 어떤 조치를 취했습니까?
이 다섯 가지 질문에 추가 대화 없이 답할 수 있는 감사 증적이 잘 정리된 파일의 모습입니다. 이를 테스트 팀의 감사 준비 상태(audit readiness)의 일부로 다루어, 검토를 앞둔 몇 주뿐만 아니라 연중 내내 감사에 대비할 수 있도록 하십시오.
감사를 위한 자동화 테스트 증적: 무엇을 확보할 것인가
TestCollab의 테스트 증적 전략 가이드는 다섯 가지 유형의 증적을 제시합니다. 어떤 문서 작업에도 활용할 수 있는 좋은 체크리스트입니다.
- 스크린샷과 녹화 영상. 화면 상태, 오류 메시지, 실패 상황을 시각적으로 보여 주므로, 브라우저 기반 엔드 투 엔드 테스트에서 특히 유용합니다.
- 실행 로그. 무엇이 통과했고 무엇이 실패했으며 그 이유가 무엇인지를 단계별로 기록한 자료입니다.
- 첨부 파일. 테스트 데이터, 구성 스냅숏, API 응답 또는 내보낸 보고서입니다.
- 실행 메타데이터. 누가, 언제, 어떤 환경에서, 어떤 구성으로 실행했는지에 대한 정보입니다.
- 결함 링크. 실패한 각 테스트와 해당 버그 티켓을 연결하는 정보입니다.
증거 수집을 자동화하는 것은 자연스러운 다음 단계이며, 자동화한 팀은 기억에 의존하지 않게 됩니다. 도구는 실패 시 스크린샷을 자동으로 첨부하고, 결과와 첨부 파일을 테스트 관리 시스템으로 보낼 수 있습니다. 이런 방식의 자동화된 증거는 누군가가 기억해 둘 필요가 없습니다. 가이드에서는 한 가지 유용한 점을 강조합니다. 테스트 중에 수집한 증거가 나중에 다시 만든 증거보다 정확하다는 것입니다. 감사 전에 누군가 채워 넣는 스프레드시트보다는, 결과 옆에 기록을 함께 보관하는 체계적인 증거 수집이 훨씬 낫습니다.
모든 테스트에 모든 아티팩트가 필요한 것은 아닙니다. 가이드에 따르면 스모크 테스트에는 상태 정보만 필요할 수 있고, 인수 테스트에는 주요 화면별 스크린샷이 필요할 수 있으며, 회귀 테스트에는 실행 기록과 환경 세부 정보가 필요할 수 있습니다. 감사 절차가 추측에 의존하지 않도록 테스트 유형별 규칙을 한 번 정리해 두십시오.
스크린샷, 로그 또는 영상: 어느 정도면 충분한가
Johner는 시간을 절약해 주는 세 가지 요점을 제시합니다.
- 스크린샷은 법적 요구 사항이 아닙니다. 특정 경고가 나타났다는 사실 등 무슨 일이 일어났는지 보여 주는 한 가지 방법일 뿐입니다.
- 로그도 증거로 쓸 수 있습니다. 화면 출력과 기록이 일치하고, 결과가 요구 사항에 맞춰 평가되며, 테스트 자동화 도구가 검증되어 있고, 미국의 전자 기록에 적용되는 21 CFR Part 11 등 해당 규칙을 기록이 충족하는 경우에 한해 증거로 인정될 수 있습니다.
- 영상에는 비용이 따릅니다. 실행 과정은 보여 주지만 결과를 평가하지는 않으며, 검토에 시간이 걸리고, 저장 공간을 많이 차지하며, 회귀 테스트에 활용하기 어렵습니다.
Jama Software 기사에서 설명하는 FDA의 컴퓨터 소프트웨어 보증(computer software assurance) 초안 지침도 같은 방향을 보여 줍니다. 이 기사에 따르면 스크린샷은 필수가 아니며, 시스템 로그, 감사 추적 및 기타 전자 데이터가 기록으로 사용될 수 있습니다. 기록에는 의도된 용도, 위험 판단, 수행한 보증 활동, 발견된 문제, 그리고 결과가 수용 가능한지에 대한 결론이 담겨야 합니다. 이 기사는 또한 위험 기반 접근 방식도 설명합니다. 고위험 기능에는 스크립트 기반 테스트를, 저위험 기능에는 비스크립트 테스트를 적용하는 방식입니다. 이 기사는 초안을 다루고 있으므로, 본인에게 적용되는 지침의 버전이 무엇인지 반드시 확인하십시오.
실무 원칙은 기록의 상세 수준을 위험에 비례하도록 맞추는 것입니다. 실패가 사람, 비용 또는 규정 준수에 해를 끼칠 수 있는 경우에는 단계, 예상 결과, 스크린샷, 로그를 모두 포함한 상세한 기록을 남기십시오.
Johner는 사용자 동작을 모방하고 반응을 기록하는 테스트 로봇에 대해서도 언급하며, 결과 평가에 AI가 도움을 줄 수 있다고 말합니다. 결과를 판단하는 데 AI를 사용한다면 AI의 출력을 초안으로 취급하고, 최종 판정에 대한 책임은 사람이 지며, 도구의 다른 부분과 마찬가지로 AI 기능도 검증하십시오. 판단 근거에 대한 기록이 없는 AI 판정은 약한 증거이며, AI 기반 검사도 다른 모든 검사와 동일한 기록이 필요합니다. 이 기록의 수집 역시 자동화할 수 있습니다.
기록을 신뢰할 수 있고 찾기 쉽게 만들기
증거를 수동으로 수집하면 수작업이 따르고, 수작업은 특히 감사 시즌에 팀이 증거를 손으로 첨부할 때 사람의 실수를 부르기 마련입니다. 찾을 수 없는 증거나 누군가 수정했을 수도 있는 증거는 약한 증거입니다. 다음 네 가지 습관이 도움이 됩니다.
- 모든 테스트를 요구 사항에 추적 연결하십시오. TestCollab은 각 테스트를 검증하는 요구 사항에 연결할 것을 권장합니다. 그래야 증거에서 어떤 테스트가 어떤 요구 사항을 다루었고 결과가 무엇인지 확인할 수 있습니다. 추적성 매트릭스를 사용하면 이러한 연결을 자동으로 만들 수 있습니다.
- 테스트 실행의 감사 추적(audit trail)을 유지하십시오. 기록을 보관하여 검토자가 마지막으로 통과한 실행뿐 아니라 테스트의 모든 실행을 확인할 수 있도록 하십시오. 수정 후 다시 실행한 실패 기록도 이력에 포함되어야 합니다.
- 누가 무엇을 변경할 수 있는지 통제하십시오. 결과와 첨부 파일에 대한 편집 권한을 제한하고, 테스트 또는 예상 결과를 변경한 사람을 기록하십시오. 공식 서명이 필요한지는 품질 팀에 확인하십시오.
- 검토 게이트를 추가하십시오. TestCollab은 "Needs Evidence Review"와 같은 사용자 지정 상태를 제안합니다. 필수 증빙 자료가 첨부되기 전까지 테스트를 완료로 표시하지 못하도록 막는 기능입니다.
같은 가이드는 추적할 수 있는 세 가지 지표를 제시합니다.
- 증빙 적용률(Evidence coverage): 필수 증빙 자료를 갖춘 테스트 실행의 비율입니다. 가이드의 예시에 따르면, 스크린샷을 요구하는 정책에 비해 60퍼센트라면 프로세스에 문제가 있다는 신호입니다.
- 증빙 확보 시간(Time to evidence): 실행 후 증빙 자료가 첨부되기까지 걸리는 시간입니다.
- 검색 속도(Retrieval speed): 어떤 요구 사항에 대해서든 5분 이내에 완전한 증빙을 꺼낼 수 있는지 여부입니다. 가이드가 제시하는 기준이기도 합니다.
이 가이드가 기록을 얼마나 오래 보관해야 하는지, 또는 변조를 어떻게 방지하는지는 다루지 않는다는 점을 기억하십시오. 이 답은 규제 기관, 계약, 그리고 회사 자체 정책에서 나옵니다. 회사가 SOC 2와 같은 컴플라이언스 프레임워크에 따라 운영되고 있다면, 같은 기록으로 두 가지 요구를 모두 충족할 수 있는지 컴플라이언스 담당자에게 확인하십시오. 또한 통합 기능을 통해 테스트 워크플로를 파이프라인에 연결하여, 수작업으로 옮기지 않아도 기록이 자동으로 전달되도록 하십시오.
어떤 증빙 작업을 자동화하고, 어떤 작업에 사람이 필요한가
증빙 자동화는 반복적인 단계에서 가장 효과적입니다. 테스트 실행에서 데이터를 수집하고, 테스트 로그와 스크린샷을 첨부하고, 각 결과를 해당 요구 사항에 연결하는 작업이 여기에 해당합니다. 저희 생각에는 이렇게 하면 감사 준비를 할 때마다 증빙을 수작업으로 모으는 번거로움을 덜 수 있습니다. 그렇더라도 특정 통제나 감사 요구 사항을 뒷받침하는지는 사람만 판단할 수 있으므로, 뒷받침 증빙은 여전히 사람이 검토해야 합니다. 품질 팀이 동의한다면, 테스트 스크립트, 테스트 로그, 테스트 실행 결과를 단일 원본(source of truth) 저장소에 보관하고, 증빙을 요구하는 각 프레임워크에 같은 컴플라이언스 증빙을 활용하십시오.
예시: 허둥대던 상황에서 5분 안에 찾기까지
아래 수치는 가상의 것입니다.
QA 리드는 내부 통제 검토 대상인 송장 발행 애플리케이션을 담당합니다. 팀은 릴리스 전에 자동화 테스트 60개를 실행합니다. 검토 전에 검토자가 요구 사항 다섯 개를 골라 테스트 수행의 증거를 요청합니다.
첫 번째 대응은 고통스러웠습니다. 테스트 결과는 30일 후 만료되는 파이프라인 출력에만 남아 있었습니다. 60개 실행 중 27개에만 스크린샷이 있었고, 이는 증빙 적용률 45퍼센트에 해당합니다. 신용 메모(credit note)를 어떤 테스트가 다루는지 아무도 말할 수 없었습니다. 팀이 답하는 데 이틀이 걸렸고, 그 답변에도 빈틈이 있었습니다.
검토 후 리드는 네 가지 변경을 적용했습니다. 모든 테스트에 요구 사항 ID를 부여했습니다. 파이프라인이 실패한 각 단계마다 스크린샷과 실행 기록을, 각 핵심 테스트마다 최종 스크린샷을 자동으로 첨부하도록 했습니다. 결과는 이력과 함께 검토 기간 전체 동안 보관되는 저장소로 옮겼고, 증빙이 첨부되기 전까지 검토 상태가 완료를 막도록 설정했습니다. 리드는 또한 테스트 유형별로 한 페이지짜리 규칙을 작성했습니다.
다음 검토에서 검토자는 다시 요구 사항 다섯 개에 대해 질문했습니다. 팀은 요구 사항 하나당 약 5분 만에 각각의 이력을 내보냈습니다. 증빙 적용률은 이제 60개 중 58개이며, 나머지 두 건은 규칙에서 허용하는 대로 상태만 기록된 문서화된 스모크 테스트입니다.
흔한 실수
- 통과 또는 실패만 기록하기. 검토자는 무엇을 확인했는지 알 수 없습니다.
- 사후에 증빙을 수집하기. 나중에 재구성한 기록은 정확도가 떨어지고 신뢰도도 낮아 보입니다.
- 항상 모든 것을 기록하기. 모든 테스트의 전체 동영상은 저장 공간과 검토 시간을 낭비하며, 그중 실제로 들여다보는 부분은 거의 없습니다.
- 요구 사항과 연결하지 않기. 추적성(traceability)이 없으면 테스트가 무엇을 증명하는지 보여줄 수 없습니다.
- 이력 버리기. 검토자는 최종 결과뿐 아니라 실패한 실행에 대해서도 질문할 수 있습니다.
- 테스트 도구를 맹목적으로 신뢰하기. 도구의 기록이 곧 증빙이라면, 그 기록을 생성한 도구 자체도 검증이 필요할 수 있습니다.
소프트웨어가 도움이 되는 방식
먼저 테스트 관리 도구와 CI 시스템을 살펴보십시오. 이들 도구에서 결과를 저장하고, 산출물을 첨부하며, 이력을 보관할 수 있습니다. 일부 테스트 도구와 테스트 플랫폼은 증거 수집 기능을 추가로 제공합니다. Cognillo의 Genta가 그중 한 예입니다. 공급업체에 따르면 이 도구는 스크린샷, 로그, 실패 산출물과 함께 통과 또는 실패 여부를 보고하며, 역할 기반 액세스 제어, 감사 로그, Excel, CSV 또는 PDF로의 대시보드 내보내기 기능을 제공합니다. 이는 공급업체의 설명이며 M365.FM이 테스트한 내용이 아닙니다. 파일럿에서 도구를 비교하고, 기록이 귀사의 자체 컴플라이언스 규칙을 충족하는지 확인하십시오.
공개: Cognillo는 M365.FM을 후원합니다.
다음 단계
규제 대상 기능 하나를 골라, 해당 기능의 테스트에 대해 감사인이 확인해야 하는 다섯 가지 사실을 적어 보십시오. 그런 다음 최근 테스트 실행 결과를 이 목록과 대조하고, 그 차이를 바탕으로 감사용 자동화 테스트 증거에 대한 규칙을 정하십시오.