업무 애플리케이션의 테스트 커버리지: 실제로 테스트된 항목을 추적하는 방법
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
기능 테스트 커버리지 추적은 업무 애플리케이션의 어떤 기능에 테스트가 있고 어떤 기능에는 없는지 보여줍니다. 커버리지 매트릭스를 만들고, 그 공백을 해석하며, 최신 상태로 유지하는 방법을 설명합니다.
Automatically translated with AI from the original post. Read the English original
기능 테스트 커버리지 추적은 업무 애플리케이션에 대해 한 가지 분명한 질문에 답합니다. 어떤 기능에 테스트가 있으며, 마지막으로 테스트가 실행되었을 때 무슨 일이 있었는가? 이 가이드는 라인 오브 비즈니스(LOB) 애플리케이션의 테스트를 관리하고 릴리스 회의에 필요한 명확한 현황을 파악해야 하는 QA 리더를 위한 것입니다. 소프트웨어 테스트에서 테스트 커버리지가 코드 커버리지와 어떻게 다른지, 커버리지 매트릭스로 테스트 커버리지를 측정하는 방법, 그리고 이를 최신 상태로 유지하는 방법을 살펴봅니다. 가상의 수치를 사용한 예제를 통해, 매핑된 기능의 비율이 높아도 공백이 여전히 숨어 있을 수 있는 이유를 보여드립니다.
핵심 포인트
- 테스트 커버리지는 어떤 기능, 요구 사항, 유스케이스에 테스트가 있는지를 묻는 반면, 코드 커버리지는 테스트 중 실행된 소스 코드의 양만 측정합니다.
- 커버리지 매트릭스는 각 요구 사항이나 기능을 이를 검증하는 테스트 케이스와 연결하며, 우선순위, 결과, 상태, 담당자를 함께 기록합니다.
- 연결된 테스트는 성공적인 검증이 아니라 문서화된 커버리지를 보여줄 뿐이므로, 링크와 함께 빌드별 결과를 추적하십시오.
- 기존 테스트만으로 매트릭스를 만들면 한 번도 테스트되지 않은 항목은 드러나지 않습니다. 따라서 테스트가 없는 기능까지 포함한 전체 목록에서 시작하십시오.
- 계획 단계, 변경 후, 릴리스 결정 전에 매트릭스를 검토하고, 날짜가 기록된 스냅숏을 증거로 보관하십시오.
테스트 커버리지가 의미하는 것과 의미하지 않는 것
Perforce의 테스트 커버리지와 코드 커버리지 비교 글은 팀들이 흔히 혼동하는 두 가지 개념을 구분합니다.
- 테스트 커버리지는 기능과 유스케이스에 관한 것입니다. 필요한 시나리오가 모두 고려되었는지 확인하는 데 도움이 되며, 이 글은 이를 위험의 좋은 지표라고 설명합니다. 명세, 위험, 기능, 제품 같은 기준에 따라 평가됩니다.
- 코드 커버리지는 테스트 중 애플리케이션의 소스 코드가 얼마나 실행되었는지를 측정한 값으로, 보통 라인 수의 백분율로 표시됩니다. 어떤 코드가 테스트되었고 어떤 코드가 테스트되지 않았는지 보여줍니다.
주문 시스템이나 인사 포털 같은 업무 애플리케이션에서는 소프트웨어에 의존하는 사람들에게 보통 첫 번째 개념이 더 중요합니다. 관리자는 4,200번째 줄이 실행되었는지가 아니라 송장 승인이 테스트되었는지를 묻습니다.
같은 글은 두 수치 중 어느 쪽이든 너무 관대하게 해석하지 말라고 경고합니다. 코드 커버리지가 반드시 코드 품질과 같은 것은 아니며, 테스트 커버리지가 애플리케이션에 버그가 없음을 보장하지도 않습니다. 테스트가 약하면 커버리지도 약합니다. 커버리지는 성적표가 아니라 어디를 살펴봤는지 보여주는 지도로 생각하십시오.
기능 테스트 커버리지 추적의 네 단계
TestRail의 요구 사항 추적성 매트릭스 가이드는 하나의 방법을 설명하며, 이를 기능 테스트 커버리지 추적을 위한 네 단계로 줄일 수 있습니다.
- 범위를 정의합니다. 매트릭스가 다룰 릴리스나 기능 세트, 그리고 적용될 빌드와 환경을 정하십시오.
- 모든 기능을 나열합니다. 권한 있는 출처에서 범위 내 전체 목록을 수집하고 각 항목에 고유하고 변하지 않는 ID를 부여하십시오. 이 가이드는 테스트가 없는 항목까지 포함한 전체 목록을 유지하는 것을 강조합니다. 기존 테스트에서만 만든 목록으로는 한 번도 연결되지 않은 항목을 발견할 수 없습니다.
- 각 항목을 테스트와 연결합니다. 각 항목을 평가하는 테스트 케이스, 검토 또는 분석과 연결하고, 그 검증이 항목의 핵심 수용 기준을 다루는지 확인합니다.
- 결과를 기록하고 검토합니다. 관련 빌드의 결과를 기록하고, 결함을 영향을 받은 결과에 연결하며, 무엇을 검증 완료로 볼지 팀이 합의하고, 누락된 매핑이나 오래된 케이스가 있는지 매트릭스를 검토합니다.
가장 중요한 흐름부터 이 작업을 먼저 하고, 새 기능이 들어올 때마다 수행합니다. 각 QA 팀에는 고유한 워크플로가 있으므로 단계는 가볍게 유지합니다. 최신 상태를 유지하는 작은 매트릭스가, 아무도 신뢰하지 않는 완전한 매트릭스보다 가치가 큽니다.
팀이 어떤 점검을 자동화하기로 하면 상황은 조금만 달라집니다. 자동화된 테스트도 여전히 하나의 테스트 케이스이며, 자동화 커버리지는 매핑된 기능 가운데 사람 없이 테스트가 실행되는 기능의 비율을 뜻합니다. 팀이 얼마나 자동화되어 있고 얼마나 아직 사람에게 의존하는지 보이도록, 이를 수동 케이스 옆에 별도의 열로 기록하십시오. 이런 커버리지 지표는 계획 수립에 도움이 되지만, 실제 행동을 이끄는 것은 테스트되지 않은 고위험 기능의 백로그라는 숫자입니다.
커버리지 매트릭스에 무엇을 담을지
TestRail은 완전한 매트릭스에 담을 수 있는 열을 나열합니다. 소규모 QA 팀에는 다음이면 충분합니다.
- 요구 사항 또는 기능 ID와 짧은 설명.
- 우선순위 또는 위험도. 그래야 공백을 올바른 순서로 살펴볼 수 있습니다.
- 연결된 테스트 케이스 ID. 수동 케이스와 엔드 투 엔드 테스트 스위트의 자동화 케이스를 모두 포함할 수 있습니다.
- 최신 결과와 빌드. 매트릭스에서 무슨 일이 있었고 언제 있었는지 보여 줍니다.
- 상태. 예: 미포함, 포함, 통과, 실패, 차단됨.
- 담당자. 해당 행에 대해 책임을 지는 사람입니다.
PractiTest는 요구 사항 추적성 매트릭스에 관한 글에서 양방향 추적성을 설명합니다. 기능에서 테스트로 가는 방향과, 테스트에서 그 테스트가 뒷받침하는 기능으로 되돌아가는 방향입니다. 두 방향은 서로 다른 방식으로 도움이 됩니다. 첫 번째는 기능에 무엇이 있는지 보여 주고, 두 번째는 테스트가 왜 존재하는지, 그리고 요구 사항이 바뀌었을 때 어떤 테스트를 살펴봐야 하는지 보여 줍니다.
매트릭스 읽기: 공백, 깊이, 경과 기간
매트릭스는 여기에 던지는 질문만큼만 유용합니다.
- 매핑 공백. 연결된 테스트가 없는 기능은 무엇입니까? TestRail은 매핑 커버리지를, 테스트 가능한 범위 내 요구 사항 중 최소 하나의 연결된 테스트를 가진 비율로 정의합니다.
- 검증 공백. TestRail은 연결된 테스트가 문서상의 커버리지를 보여 줄 뿐, 성공적인 검증을 보장하지는 않는다고 분명히 합니다. 마지막 결과를 보십시오. 테스트가 실행되었는지, 그리고 통과했는지 확인합니다.
- 깊이. PractiTest는 백분율로 보면 무언가를 완전히 테스트했더라도, 깊이 측면에서는 반드시 잘 테스트된 것은 아닐 수 있다고 경고합니다. 기능당 테스트가 하나뿐이면 얕을 수 있으며, 요구 사항의 조합이 중요한 경우도 있습니다.
- 경과 기간. 몇 달 동안 실행되지 않은 테스트는 오늘의 빌드에 대해 거의 아무것도 말해 주지 않습니다. 마지막 실행 날짜를 표시하십시오.
- 고아 테스트. 아무것도 연결되지 않은 테스트는 기능 목록에 담기지 않은 위험을 막고 있을 수 있습니다. TestRail은 연결되지 않은 테스트를 제거하기 전에 검토할 것을 권장합니다.
공백 가운데 가장 위험한 다섯 가지를 짧게 정리한 목록이, 200행짜리 표보다 릴리스 회의에서 더 유용합니다.
코드 커버리지 도구가 여전히 도움이 되는 경우
Martin Fowler는 테스트 커버리지에 관한 글에서 커버리지 도구를 "코드베이스에서 테스트되지 않은 부분을 찾는 데 유용한 도구"라고 부르며, 가끔 커버리지 도구를 실행해 테스트되지 않은 코드를 살펴볼 것을 제안합니다. 또한 커버리지는 테스트가 얼마나 좋은지를 나타내는 숫자로는 거의 쓸모가 없다고 씁니다. 품질이 낮은 테스트로도 높은 커버리지 수치를 쉽게 달성할 수 있기 때문입니다. 그는 100퍼센트 같은 수치에는 의구심을 가질 것이며, 약 절반 미만의 커버리지는 문제의 신호로 봅니다. 그리고 커버리지는 읽는 데 기술적 판단이 필요하므로, 테스트를 작성하는 사람에게 가장 유용하다고 덧붙입니다.
QA 리드 입장에서는 이 결과를 바탕으로 업무를 나눌 필요가 있습니다. 저희 생각에는 개발자는 단위 테스트와 통합 테스트의 커버리지 보고서를 보고, QA 팀은 기능 매트릭스를 보면서 수동 테스트와 테스트 자동화 전반에서 비즈니스 리스크가 가장 큰 영역의 테스트 커버리지를 높이는 것이 바람직합니다. 어느 한 가지 수치만으로는 릴리스에 대한 확신을 얻을 수 없습니다. 두 수치 모두 테스트 노력의 지도일 뿐, 제품 품질을 증명하는 것은 아닙니다.
최신 상태로 유지하십시오
오래된 매트릭스는 아예 없는 것보다 나쁩니다. 사람들이 그 내용을 신뢰하기 때문입니다. TestRail은 계획 단계, 변경 후, 릴리스 결정 전에 매트릭스를 검토할 것을 권장하며, 결정의 근거가 필요할 때는 날짜가 찍힌 스냅숏을 보관하라고 제안합니다. 또한 변경 요청, 테스트 업데이트, 검증 결정을 담당할 조정자와 담당자를 지정하는 것도 권장합니다. PractiTest는 매트릭스를 필요한 모든 사람이 볼 수 있도록 공개 상태로 유지해야 한다고 덧붙이며, 스프레드시트를 이메일로 복사해 주고받으면 어떤 버전이 최신인지 혼란이 생긴다고 경고합니다.
공유 버전은 하나만 유지하십시오. 테스트 관리 도구를 사용한다면, 테스트가 실행될 때마다 링크와 결과가 자동으로 업데이트되도록 설정하십시오. 그래야 매트릭스가 누군가의 기억에 의존하지 않습니다. 또한 변경 후 어떤 회귀 테스트를 다시 실행해야 하는지 링크로 확인할 수 있어 회귀 테스트를 지원하는 역할도 합니다.
예시: 기능 40개, 세 가지 다른 숫자
아래 수치는 가상의 예입니다.
QA 리드가 주문 관리 앱의 기능 40개를 추적하고 있습니다. 매트릭스는 세 가지 서로 다른 그림을 보여 줍니다.
- 연결됨: 기능 40개 중 31개에 최소 하나 이상의 연결된 테스트가 있습니다. 이는 77.5퍼센트의 매핑 커버리지입니다.
- 검증됨: 이 31개 중 22개는 최신 빌드에서 통과했습니다. 5개는 실패했거나 차단되었고, 4개는 90일 동안 실행되지 않았습니다. 검증된 커버리지는 40개 중 22개, 즉 55퍼센트입니다.
- 공백: 9개 기능에는 테스트가 전혀 없습니다. 그중 3개는 환불, 가격 재정의, 사용자 역할 변경으로 리스크가 높습니다.
리드는 첫 번째 수치가 아니라 두 번째 수치를 제품 오너에게 보고합니다. 팀은 다음 스프린트에서 리스크가 높은 공백 3개에 대한 테스트를 추가하고, 실패하거나 차단된 테스트 5개를 수정하며, 오래된 테스트 4개를 다시 실행합니다. 대시보드의 비율은 올라가고, 그 수치에 대한 신뢰도도 함께 올라갑니다. 77.5퍼센트만 보여 주었다면 문제는 드러나지 않았을 것입니다.
흔한 실수
- 코드 커버리지를 기능 커버리지로 착각하기. 실행된 코드 라인은 테스트되지 않은 비즈니스 기능에 대해 아무것도 말해 주지 않습니다.
- 기존 테스트로만 매트릭스를 만들기. 테스트가 없는 항목은 절대 보이지 않습니다.
- 링크를 증명으로 여기기. 빌드별 최신 결과를 보여 주십시오.
- 퍼센트에 집착하기. 100퍼센트를 목표로 하면 각 기능을 건드리기만 하는 얇은 테스트가 양산됩니다.
- 매트릭스를 방치하기. 계획 단계, 변경 후, 릴리스 전에 검토하십시오.
- 이메일에 사본 보관하기. 여러 버전이 생기면 어느 것이 맞는지를 두고 논쟁이 벌어집니다.
소프트웨어가 도움이 되는 방식
스프레드시트로 시작하는 것도 충분히 괜찮은 방법입니다. 테스트 관리 도구를 사용하면 테스트를 기능에 연결하고 결과를 자동으로 업데이트할 수 있어 수동 유지 관리의 부담을 줄일 수 있습니다. Genta by Cognillo가 한 예입니다. 공급업체에 따르면 이 도구는 기능 커버리지 추적을 포함한 테스트 케이스 및 스위트 관리, 예약 실행, 그리고 Excel, CSV 또는 PDF로 내보낼 수 있는 대시보드를 제공합니다. 이는 공급업체의 설명이며 M365.FM이 직접 검증한 내용이 아닙니다. 도입을 결정하기 전에 다른 옵션과 비교하고, 각 도구가 결과를 요구 사항과 어떻게 연결하는지 확인하십시오.
고지: Cognillo는 M365.FM을 후원합니다.
다음 단계
가장 중요한 업무 흐름을 하나 골라 그 기능 10개를 나열하고, 각 기능을 해당 테스트와 함께 마지막 결과와 날짜가 포함된 간단한 매트릭스로 정리해 보십시오. 그다음 가장 큰 공백 3개를 다음 릴리스 회의에 가져가고, 이후 기능 테스트 커버리지 추적의 담당자를 정하십시오.