M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

자동화할 회귀 테스트를 어떤 순서로 정해야 할까요? 결정 가이드

By · · Updated

어떤 테스트를 먼저 자동화할까요? 비즈니스에 중요하고 자주 실행되며 안정적인 회귀 테스트부터 시작하십시오. 다섯 가지 기준과 간단한 점수표로 판단할 수 있습니다.

Automatically translated with AI from the original post. Read the English original

어떤 테스트를 먼저 자동화해야 할까요? 비즈니스에 중요한 흐름을 다루고, 매 빌드마다 실행되며, 거의 바뀌지 않고, 수동으로 반복하는 데 가장 오래 걸리는 회귀 테스트부터 시작하십시오. 이 가이드는 팀 규모는 작은데 수동 검사 목록은 긴 QA 리더를 위한 자료이며, 설명 가능한 우선순위가 필요한 분들께 드립니다. 다섯 가지 선정 기준, 당분간 수동으로 남겨 둘 항목 목록, 간단한 점수표를 소개합니다. 가상의 수치로 작성한 예시에서는 후보 테스트 다섯 개의 순위를 매기므로, 방법을 그대로 따라 하실 수 있습니다.

핵심 포인트

  • 비즈니스에 중요한 흐름을 다루고, 자주 실행되며, 거의 바뀌지 않고, 수동으로 반복하는 데 가장 많은 시간이 드는 회귀 테스트를 가장 먼저 자동화하십시오.
  • 기능을 장애 비용 기준으로 순위 매기십시오. 결함이 발생할 확률과 심각도에 따라 어떤 테스트를 다른 테스트보다 먼저 자동화할지 결정하게 됩니다.
  • 일회성, 불안정한, 탐색적 및 사용성 검사는 당분간 수동으로 남겨 두십시오. 자동화하면 수동 실행보다 비용이 더 들 수 있기 때문입니다.
  • 아홉 가지... 아니요, 정정합니다: 1에서 5까지의 가중 점수를 비즈니스 중요도, 실행 빈도, 안정성, 수동 작업량, 불안정성 기준으로 매기면 논쟁이 정리된 순위표로 바뀝니다.
  • 동작하는 가장 낮은 테스트 계층을 우선 선택하고, 전체 검증이 반드시 필요한 흐름에만 브라우저 수준의 엔드 투 엔드 테스트를 유지하십시오.

자동화 순서가 중요한 이유

자동화에는 노력이 들고, 그 노력은 테스트가 여러 번 실행될 때에만 보상받습니다. 매 빌드마다 실행되는 테스트는 빠르게 투자 비용을 회수합니다. 한 번만 실행되는 테스트는 그렇지 못합니다.

짧은 스프린트를 운영하는 애자일 팀은 모든 것을 자동화할 시간이 거의 없습니다. 테스트 자동화는 투자이므로 투자 수익률(ROI)을 생각해야 합니다. 즉, 자동화된 테스트 케이스 하나가 절약하는 수동 작업 시간에서 테스트 스크립트를 작성하고 유지 관리하는 데 드는 시간을 뺀 값입니다. 따라서 어떤 순서로 자동화하느냐에 따라 투자 수익이 얼마나 빨리 나타나는지가 정해집니다. 가치가 낮은 검사 열 개를 자동화하면서 결제 흐름은 수동으로 남겨 둔 팀은 노력을 잘못된 곳에 쓴 것입니다.

Ranorex의 자동화 대상 파악 방법 가이드는 반복 재실행이 절감 효과를 곱절로 키우기 때문에 회귀 테스트를 우선순위 목록의 맨 위에 둡니다. 또한 기능을 장애 비용 기준으로 순위 매기고, 가장 위험한 기능의 테스트를 회귀 테스트 스위트에 먼저 추가하라고 조언합니다.

TestDevLab의 회귀 테스트 케이스 우선순위 지정 방법 글은 같은 개념을 위험 기반 우선순위 지정으로 설명합니다. 결함 발생 확률과 영향의 심각도 같은 요소로 테스트 케이스의 순위를 매기는 방식입니다. 위험이 높고 매우 중요한 기능부터 시작해 위험이 낮은 기능으로 넘어가라고 권합니다. 또한 자주 업데이트되는 기능과 여러 구성 요소가 복잡하게 얽힌 기능은 더 일찍 테스트해야 한다고 설명합니다.

실무적인 메시지는 이렇습니다. 기능 목록이나 구현 용이성이 아니라 위험과 테스트 실행 빈도를 기준으로 자동화하십시오.

간단한 자동화 전략에는 후보 테스트, 도구, 담당자, 검토 날짜가 명시되어야 합니다. 대부분의 테스트 자동화 모범 사례도 같은 방식으로 시작합니다. 즉, 무엇을 자동화할지 먼저 정하고, 그다음에 도구를 고르는 것입니다.

먼저 자동화할 테스트: 다섯 가지 기준

Katalon의 [회귀 테스트 케이스 선정] 가이드는 자동화 후보가 되려면 여러 조건 중 대부분을 충족해야 한다고 설명합니다. 소규모 팀에 특히 중요한 조건은 다음 다섯 가지입니다.

  1. 비즈니스에 중요함. 매출, 보안 또는 핵심 흐름(예: 로그인, 결제, 지불 처리)을 다루는 테스트입니다. 이 부분이 깨지면 고객이 가장 먼저 알아챕니다.
  2. 자주 실행됨. 모든 풀 요청, 야간 빌드 또는 릴리스마다 실행되는 테스트입니다.
  3. 안정적임. 기능이 자주 바뀌지 않아 테스트를 계속 수정할 필요가 없습니다.
  4. 수작업 비용이 큼. 반복적이고 느리며 사람의 실수가 생기기 쉬운 테스트입니다. 같은 단계를 여러 입력값으로 반복하는 데이터 기반 검사에 잘 맞으며, 이런 경우 자동화 테스트가 가장 많은 시간을 절약합니다.
  5. 명확한 결과. 화면, API 응답 또는 시스템 상태를 통해 통과 또는 실패를 객관적으로 쉽게 확인할 수 있는 테스트입니다. 가능한 모든 입력값이 아니라 테스트 데이터에서 중요한 예외 상황을 다루십시오.

이 가운데 네 개 또는 다섯 개를 충족하는 테스트는 우선순위 목록의 맨 위에 놓입니다. 한두 개만 충족하는 테스트는 뒤로 밀립니다.

Katalon은 계층에 관해서도 조언합니다. 제대로 동작하는 가장 낮은 계층을 우선하고, 불안정한 UI 흐름은 종단 간 검증이 꼭 필요한 경우에만 자동화하십시오. 규칙을 [단위 테스트]나 API 호출로 확인할 수 있다면, 보통 브라우저 테스트보다 빠르고 안정적입니다. 느린 UI 테스트는 정말 필요한 소수의 흐름에만 두십시오. 화면 전체 경로가 반드시 검증되어야 하는 여정에는 브라우저 수준의 [종단 간 테스트]를 유지하십시오.

테스트 피라미드와 파이프라인에 맞춰 순서를 정하기

선정 기준은 무엇을 자동화할지 알려주고, 계층 기준은 어디서 자동화할지 알려줍니다. Martin Fowler의 [Practical Test Pyramid]는 작고 빠른 단위 테스트를 많이 두고, 조금 더 큰 범위의 테스트를 일부 두며, 상위 수준의 테스트는 아주 적게 두라고 권합니다. 테스트 수준을 고르는 그의 규칙은 순위 목록에 활용하기 좋습니다. 상위 수준 테스트가 오류를 발견했는데 하위 수준 테스트는 실패하지 않았다면, 하위 수준 테스트를 작성하십시오. 테스트는 가능한 한 아래 계층으로 내리고, 하위 계층이 이미 다루는 내용과 중복되는 상위 수준 테스트는 제거하십시오.

따라서 순위가 매겨진 항목에 브라우저 테스트를 작성하기 전에 두 가지를 물어보십시오. 단위 테스트나 통합 테스트로 같은 규칙을 더 빠르게 검증할 수 있는가? 이미 자동화된 테스트 케이스 중 중복되는 것이 있는가? 이 질문들은 Fowler의 규칙에 바탕을 둔 저희 팀의 질문이며, 출처에서 가져온 체크리스트가 아닙니다.

그다음에는 각 테스트를 파이프라인에 배치하십시오. Ranorex는 스모크 테스트를 새 빌드마다 실행되는 회귀 테스트의 작은 부분집합으로 설명하고, Katalon은 풀 요청, 야간 빌드, 릴리스를 자동화 후보가 실행되어야 할 지점으로 꼽습니다. 저희가 제안하는 실용적인 방식은 모든 빌드에서 작은 스모크 세트를 실행하고, 더 넓은 자동화 스위트는 야간 빌드나 릴리스 때 실행하는 것입니다. 탐색적 테스트는 QA 팀의 몫으로 남겨 두고, 계획은 분기마다 검토하십시오.

당분간 수작업으로 남길 테스트

자동화하지 않기로 결정하는 것도 계획의 일부입니다. Ranorex는 자동화가 비용에 비해 이득이 없는 경우를 다음과 같이 나열합니다.

  • 일회성 테스트. 테스트를 자동화하는 데 한 번 수작업으로 실행하는 것보다 더 오래 걸릴 수 있습니다. 회귀 스위트에 추가될 테스트나 데이터 기반 테스트는 일회성으로 보지 않습니다.
  • 불안정한 기능. 요구사항이 아직 실험 단계이거나 개발 중이라면 수작업으로 테스트하십시오.
  • 통과 또는 실패 결과가 명확하지 않은 테스트. 결과가 객관적일 때만 자동화하십시오.
  • 탐색적 테스트와 사용성 테스트. Ranorex는 이런 테스트가 사람의 판단에 의존하므로 자동화할 수 없고, 자동화해서도 안 된다고 말합니다.

CAPTCHA처럼 자동화에 저항하는 기능은 별도의 계획이 필요합니다. Ranorex는 테스트 환경에서 이를 끄거나, 개발자용 우회 경로를 추가하거나, 테스터가 직접 완료할 수 있도록 일시 정지하는 방법을 제안합니다.

수작업이라고 해서 잊어버리면 안 됩니다. 이런 테스트는 검토 날짜를 적은 목록에 올려 두십시오. 그래야 안정된 기능이 우선순위 목록의 위쪽으로 올라갈 수 있습니다.

간단한 매트릭스로 후보 점수 매기기

두 테스트가 모두 중요해 보일 때는 점수가 결정 과정을 눈에 보이게 만듭니다. Katalon은 각 테스트를 가중치가 적용된 요소별로 1에서 5까지 점수화하고, 각 점수에 가중치를 곱한 뒤 그 결과를 더하는 방식을 권장합니다. Katalon의 예시 가중치는 업무 중요도 0.3, 실행 빈도 0.2, 안정성 0.2, 절약되는 수동 작업량 0.15, 불안정성 점수 0.15입니다. 여기서 점수가 높을수록 불안정성에 따른 위험이 낮다는 뜻입니다. 권장 기준은 자동화 대상이 4.0 이상, 3.0에서 3.9는 나중에 다시 검토, 3.0 미만은 수동 또는 탐색적 테스트 유지입니다.

이 가중치를 그대로 쓰셔도 되고 필요에 따라 바꾸셔도 됩니다. 중요한 것은 정확한 숫자가 아닙니다. 팀이 개별 테스트를 두고 논쟁하기 전에 평가 요소에 먼저 합의하는 것이 핵심입니다.

점수는 어디서 가져와야 할까요? Katalon은 운영 데이터와 과거 장애 기록을 보면 어떤 경로가 가장 중요한지 알 수 있다고 설명합니다. TestDevLab은 과거 기록 기반 우선순위 지정을 소개하는데, 이는 과거에 결함을 발견한 실적에 따라 테스트 순위를 매기는 방식입니다. 장애 목록과 지원 티켓으로 중요도 열을 채우고, 빌드 이력으로 빈도와 불안정성 열을 채우십시오. 데이터에 기반한 점수는 의견에 기반한 점수보다 설명하고 방어하기가 훨씬 쉽습니다. 순위는 팀 전체와 함께 검토하고, 핵심 흐름의 테스트 커버리지는 간단한 개수로 추적하십시오. 즉, 가장 중요한 흐름 10개 중 몇 개에 자동화된 테스트 케이스가 있는지 세어 보는 것입니다.

예시: 후보 테스트 5개 순위 매기기

점수는 가상의 값이며, 가중치는 위에서 제시한 것과 같습니다.

QA 리드가 순위를 매겨야 할 수동 점검 항목은 5개입니다. 각 요소는 1에서 5까지 점수화합니다.

  1. 청구서 내보내기. 중요도 5, 빈도 5, 안정성 4, 작업량 4, 불안정성 점수 3. 점수: 1.5 + 1.0 + 0.8 + 0.6 + 0.45 = 4.35. 가장 먼저 자동화합니다.
  2. 비밀번호 재설정. 중요도 5, 빈도 3, 안정성 5, 작업량 3, 불안정성 점수 4. 점수: 1.5 + 0.6 + 1.0 + 0.45 + 0.6 = 4.15. 그다음으로 자동화합니다.
  3. 보고서 필터. 중요도 3, 빈도 4, 안정성 4, 작업량 4, 불안정성 점수 4. 점수: 0.9 + 0.8 + 0.8 + 0.6 + 0.6 = 3.7. 다음 분기에 다시 검토합니다.
  4. 새 대시보드 레이아웃. 중요도 3, 빈도 3, 안정성 1, 작업량 3, 불안정성 점수 2. 점수: 0.9 + 0.6 + 0.2 + 0.45 + 0.3 = 2.45. 디자인이 확정될 때까지 수동으로 유지합니다.
  5. 프로필 사진 업로드. 중요도 2, 빈도 2, 안정성 3, 작업량 2, 불안정성 점수 2. 점수: 0.6 + 0.4 + 0.6 + 0.3 + 0.3 = 2.2. 수동으로 유지합니다.

결과는 청구서 내보내기, 비밀번호 재설정 순으로 정렬된 목록이며, 보고서 필터는 예비 대상으로 남습니다. 리드는 작은 자동화 프레임워크, 공유 테스트 데이터, 그리고 이 첫 테스트 케이스들로 시작한 뒤 자동화된 테스트 스위트를 키워 나갑니다. 제품 오너는 그 이유를 확인할 수 있고, 대시보드 변경이 멈추면 안정성 점수가 올라가 순위도 올라갈 수 있습니다.

흔한 실수

  • 가장 쉬운 테스트부터 자동화하기. 쉬운 테스트는 영향이 작은 경우가 많아서, 중요한 부분을 보호하지 못한 채 스위트만 커집니다.
  • 불안정한 기능 자동화하기. 테스트가 변경될 때마다 깨지고, 팀은 결국 그 테스트를 신뢰하지 않게 됩니다.
  • 영향도 대신 테스트 개수 세기. 가치가 낮은 점검이 많으면 그 스위트를 유지하는 비용이 절감 효과보다 더 커집니다.
  • 모든 점검을 브라우저 계층에서 시작하기. 단위 테스트나 API 점검으로 규칙을 검증할 수 있다면, 보통 그쪽을 유지하는 편이 더 저렴합니다.
  • 여전히 중요한 수동 테스트 무시하기. 탐색적 점검과 사용성 검토는 테스터의 몫으로 남으며, 소프트웨어 테스트에는 두 종류의 노력이 모두 필요합니다.
  • 순위를 다시 검토하지 않기. 사용량, 영향도, 안정성은 계속 바뀌므로 목록을 분기마다 검토하십시오.

소프트웨어가 도움이 되는 방식

시작하는 데는 다섯 가지 기준과 가중치를 적은 스프레드시트면 충분합니다. 마지막 검토 날짜 열을 하나 추가하십시오. 테스트 관리 도구가 있다면, 각 테스트가 얼마나 자주 실행되고 얼마나 자주 실패하는지도 보여 줄 수 있으며, 이는 빈도와 불안정성 점수에 반영됩니다. 티켓 시스템에 쌓인 과거 결함 데이터는 어느 영역에서 문제가 가장 자주 생기는지 보여 줍니다. 스크립트 기반이든 자연어 기반이든 브라우저 테스트 도구는 어떤 흐름에 테스트가 필요한지 순위가 정해진 뒤에야 의미가 있습니다. 도구는 목록을 만든 뒤에 고르고, 그 전에 고르지 마십시오.

다음 단계

수동 회귀 점검 중 가장 오래 걸리는 20개를 나열하고, 각각을 다섯 가지 요소로 점수화한 뒤 결과를 정렬하십시오. 그다음 상위 3개를 자동화하고, 이 순위 목록을 다음 계획 회의에서 무엇을 먼저 자동화할지 답하는 근거로 사용하십시오.

Entities in this article

Regression testing End-to-end testing Unit testing

Related articles

RSS