M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

불안정한 E2E 테스트: 실패 원인과 줄이는 방법

By · · Updated

불안정한 E2E 테스트는 코드를 바꾸지 않아도 통과했다가 실패합니다. 흔히 발생하는 다섯 가지 원인, 대기와 테스트 데이터를 고치는 방법, 고칠 수 없는 테스트를 다루는 방법을 알아봅니다.

Automatically translated with AI from the original post. Read the English original

불안정한 E2E 테스트는 코드, 테스트, 환경에 아무 변화가 없어도 한 번은 통과하고 다음 번에는 실패하는 자동화 브라우저 테스트입니다. 이 가이드는 버그를 고치기보다 실패한 빌드를 다시 실행하는 데 더 많은 시간을 쓰는 QA 리드와 자동화 엔지니어를 위한 것입니다. 이러한 테스트가 불안정해지는 이유, 흔한 다섯 가지 원인, 가장 문제가 되는 원인인 대기 처리를 고치는 방법, 아직 고칠 수 없는 테스트를 관리하는 방법을 살펴봅니다. 가상의 수치로 만든 예시를 통해 근본 원인을 세 단계로 찾는 과정도 보여드립니다.

핵심 포인트

  • 불안정한 테스트는 코드, 테스트, 환경에 변화가 없어도 어떤 때는 통과하고 어떤 때는 실패합니다. 그래서 같은 실행을 반복하기 전까지는 실패 결과만으로 아무것도 알 수 없습니다.
  • Google은 전체 테스트 실행의 약 1.5%가 불안정한 결과를 냈고, 전체 테스트의 거의 16%에서 어느 정도의 불안정성이 나타났다고 보고했습니다. 규모가 커지면 불안정성은 정상적인 현상이므로 이에 대한 계획이 필요합니다.
  • 흔한 다섯 가지 원인은 공유 상태, 타이밍, 원격 서비스, 시스템 시계, 누수된 리소스입니다. 브라우저 테스트에서는 타이밍을 가장 먼저 확인해야 합니다.
  • 고정된 sleep 대신 표시되는 조건을 기다리도록 바꾸고, 모든 테스트에 전용 데이터를 부여하여 테스트끼리 서로 영향을 주지 않도록 하십시오.
  • 임시 조치로 불안정한 테스트를 격리할 수는 있지만, 격리 대상이 될 수 있는 테스트 수와 격리 기간에 상한을 두어야 합니다. 그렇지 않으면 회귀 테스트 스위트의 가치가 서서히 떨어집니다.

불안정한 테스트가 큰 피해를 주는 이유

테스트는 결과를 반복해서 재현할 수 없을 때 불안정하다고 합니다. Martin Fowler의 테스트의 비결정성(non-determinism)에 관한 글은 비결정적 테스트를 "때로는 통과하고 때로는 실패하는" 테스트, 그리고 "코드, 테스트, 환경에 눈에 띄는 변화가 없는" 상태에서 그렇게 동작하는 테스트로 정의합니다.

피해는 신뢰를 잃는 데서 옵니다. 실패한 빌드가 실제 버그일 수도 있고 단순한 잡음일 수도 있다면, 사람들은 실패한 빌드를 무시하는 법을 배웁니다. 그러면 실제 결함이 빠져나갑니다. 팀은 시간도 낭비합니다. 실패할 때마다 그것이 중요한지 판단하기 전에 다시 실행해야 하기 때문입니다. 불안정한 테스트 스위트는 CI 파이프라인도 느리게 만듭니다. 실패한 테스트 실행이 재시도를 기다리는 동안 병합 대기열 전체가 막히기 때문입니다.

대규모 시스템의 수치를 보면 이런 현상은 드문 일이 아니라 일반적인 일임을 알 수 있습니다. Google Testing Blog의 글 Flaky Tests at Google and How We Mitigate Them에 따르면, 전체 테스트 실행의 약 1.5%가 불안정한(flaky) 결과를 냈고, 테스트의 거의 16%에 어느 정도의 불안정성이 있었습니다. 또한 관찰된 통과에서 실패로의 전환 중 약 84%에 불안정한 테스트가 관여하며, 평균적인 프로젝트에는 약 1,000개의 개별 테스트가 있다고 합니다. 여러분의 수치는 다를 수 있지만, 교훈은 같습니다. 규모가 커지면 불안정성은 피할 수 없으므로 이를 관리할 프로세스가 필요합니다.

브라우저 기반 E2E 테스트는 특히 취약합니다. 각 테스트는 브라우저, 네트워크, 배포된 애플리케이션, 테스트 계정, 그리고 종종 타사 서비스에 의존합니다. 변동 요소가 많을수록 결과가 달라질 가능성도 커집니다. 그래서 E2E 테스트는 변동 요소가 훨씬 적은 단위 테스트보다 대체로 안정성이 떨어집니다.

불안정한 E2E 테스트의 흔한 다섯 가지 원인

Fowler의 글은 흔한 원인 다섯 가지를 제시합니다. 각 원인은 브라우저 테스트에도 그대로 적용됩니다.

  1. 격리 부족. 테스트가 데이터베이스 레코드나 로그인된 세션 같은 상태를 공유하면, 한 테스트가 다른 테스트가 보는 내용을 바꿀 수 있습니다. 해결 방법: 각 테스트마다 시작 상태를 다시 만들거나, 테스트가 끝난 뒤 정리합니다.
  2. 비동기 동작. 페이지가 응답하는 데 시간이 걸리는데, 테스트가 너무 일찍 또는 너무 늦게 동작합니다. Fowler의 조언은 비동기 응답을 기다릴 때 단순 sleep을 절대 사용하지 말고, 콜백이나 폴링을 사용하라는 것입니다.
  3. 원격 서비스. 실시간 결제 샌드박스, 메일 서비스, 또는 ID 공급자가 느리거나 중단될 수 있습니다. 해결 방법: 테스트에 실제 시스템이 필요하지 않다면 원격 시스템을 테스트 대역(test double)으로 대체합니다.
  4. 시간. 시스템 시계를 읽는 테스트는 자정, 월말, 또는 time zone이 바뀔 때 다르게 동작합니다. 해결 방법: 테스트에서 시계를 직접 제어합니다.
  5. 리소스 누수. 테스트가 연결이나 세션을 열어 둔 채 끝나면, 나중에 실행되는 전혀 관련 없는 테스트가 리소스가 고갈될 때 실패합니다.

Google 게시물은 동시성, 비결정적 또는 정의되지 않은 동작에 대한 의존, 불안정한 서드파티 코드, 인프라 문제를 추가로 다룹니다. 실패하는 테스트의 근본 원인을 조사할 때는 두 목록을 모두 점검표로 활용하십시오.

먼저 대기 로직부터 고치십시오

브라우저 테스트에서는 보통 타이밍이 가장 먼저 의심할 대상입니다. 준비되기 전에 버튼을 클릭하거나, 메시지가 나타나기 전에 확인하는 테스트는 빠른 머신에서는 통과하고 바쁜 머신에서는 실패합니다.

"5초 기다리기"처럼 고정된 일시 정지는 최악의 해결책입니다. 페이지가 빠를 때는 시간을 낭비하고, 페이지가 느리면 여전히 실패합니다. Fowler는 폴링을 한 번만이 아니라 정기적으로 확인하는 방식으로 설명하며, 시간 제한은 테스트 안에 절대 리터럴 값으로 넣지 말아야 한다고 말합니다.

최신 도구에는 이러한 기능이 내장되어 있습니다. Playwright의 actionability 문서는 동작을 수행하기 전에 확인하는 항목을 나열합니다. 요소는 보이고, 안정적이어야 하며(애니메이션 프레임 사이에 위치가 변하지 않아야 함), 활성화되어 있고, 클릭 지점에서 이벤트를 받을 수 있어야 하며, 입력의 경우 편집 가능해야 합니다. Playwright는 이 확인이 통과될 때까지 기다리며, 그렇지 않으면 타임아웃 오류로 실패합니다. Playwright의 모범 사례 페이지에는 웹 우선(web-first) 어설션이 조건이 충족될 때까지 재시도한다는 내용도 추가로 나와 있습니다.

실무 원칙은 다음과 같습니다.

  • 몇 초라는 숫자가 아니라, 제목이나 행처럼 사용자가 실제로 볼 수 있는 조건을 기다리십시오.
  • 페이지 레이아웃이 바뀌면 깨지기 쉬운 긴 CSS나 XPath 경로보다는, 역할, 텍스트 또는 테스트 ID를 기반으로 한 선택자를 사용하는 것이 좋습니다.
  • 여러 개의 작은 sleep 대신, 단계 전체에 대해 넉넉한 시간 제한 하나를 설정하십시오.
  • 결과는 재시도하는 어설션으로 확인하십시오.

테스트 데이터와 테스트 환경 격리하기

두 번째 핵심 요소는 데이터입니다. 각 테스트에 고유한 계정, 고유한 주문, 또는 고유한 폴더를 할당하십시오. 두 테스트가 같은 레코드를 수정하지 않도록 하십시오. 테스트를 병렬로 실행해야 한다면, 공유 데이터는 무작위 실패를 보장합니다.

환경도 살펴보십시오. 테스트 실행 도중 다른 팀이 배포하는 공유 스테이징 시스템은, 어떤 테스트 수정으로도 해결할 수 없는 실패를 일으킵니다. 배포 시간대를 합의하거나, 전용 환경에서 테스트 스위트를 실행하십시오.

단계가 외부 서비스에 의존한다면, 해당 테스트가 그 서비스에 관한 것인지 물어보십시오. 그렇지 않다면 스텁(stub)으로 대체하십시오. 실제 서비스를 사용하는 테스트는 소수만 유지하고, 별도 그룹으로 관리하십시오.

마지막으로, 모든 실패를 쉽게 진단할 수 있도록 하십시오. CI 파이프라인에서 실패한 각 테스트 실행의 로그, 스크린샷, 트레이스를 보관하십시오. Playwright의 모범 사례 페이지는 실패한 테스트의 첫 재시도 시점에 트레이스를 수집할 것을 권장합니다. 그래야 추측하지 않고 실제로 무슨 일이 있었는지 재현할 수 있습니다. 로그와 트레이스가 있으면, 불안정한 테스트는 예를 들어 느린 UI 단계의 타임아웃처럼 고칠 수 있는 명확한 워크플로 문제가 됩니다.

아직 고칠 수 없는 테스트는 어떻게 할까요

일부 불안정한 테스트는 시간이 더 필요하고, 일부는 내가 소유하지 않은 코드에 의존합니다. 이런 경우에는 명시적으로 관리하면서 안정적인 테스트 결과의 신뢰도를 유지하십시오.

  • 격리(quarantine). Fowler는 비결정적 테스트를 별도 스위트로 옮기는 방법을 설명합니다. 그래야 정상적인 테스트가 신뢰할 수 있는 피드백을 계속 제공합니다. 그는 격리된 테스트도 빠르게 수정해야 하며, 쌓이는 개수나 격리 기간을 제한해야 한다고 덧붙입니다.
  • 기록을 남기는 재시도. Google은 실패한 테스트를 다시 실행하고, 연속으로 세 번 실패했을 때만 실패로 보고하도록 테스트를 불안정(flaky)으로 표시하는 방법을 설명합니다. 이 게시물은 이것이 결코 완벽한 해결책이 아니라고 말하며, 실제 레이스 컨디션이나 테스트 대상 코드의 다른 버그를 쉽게 가릴 수 있다고 경고합니다.
  • 시간에 따라 불안정성을 추적하십시오. Google도 테스트의 불안정성 수준 변화를 감지하는 도구를 소개합니다. 테스트별 통과율만 담은 단순한 목록만으로도 어디부터 살펴봐야 할지 알 수 있습니다.

어떤 방법을 선택하든 불안정한 테스트 목록을 눈에 보이게 만들고, 테스트마다 담당자를 지정하고, 기한을 정하십시오.

예시: 원인을 세 단계로 찾기

아래 수치는 가상의 것입니다.

어떤 테스트 스위트에 브라우저 테스트가 200개 있습니다. 2주 동안 그중 14개가 코드 변경 없이 최소 한 번 실패했습니다. 전체 테스트의 7퍼센트에 해당합니다.

  1. 원인별로 묶으십시오. 팀은 실패 로그를 읽고 14개 테스트를 분류합니다. 8개는 버튼에서 시간 초과로 실패하고, 4개는 두 테스트가 같은 고객 레코드를 수정하기 때문에 실패하며, 2개는 스테이징에 배포한 후에만 실패합니다.
  2. 가장 큰 그룹부터 수정하십시오. 팀은 타이밍 문제가 있는 8개 테스트에서 고정 대기(sleep)를 표시된 조건을 기다리는 방식으로 바꿉니다. 그러자 7개가 더 이상 실패하지 않습니다.
  3. 다음 그룹을 수정하십시오. 공유 고객 데이터를 수정하던 각 테스트가 이제 자신만의 고객을 생성합니다. 그러자 4개 테스트가 더 이상 실패하지 않습니다.

세 번째 단계를 마친 뒤 불안정한 테스트 3개가 남습니다. 팀은 배포 관련 테스트 2개를 격리하고, 각 테스트에 담당자와 2주 기한을 부여합니다. 이 결과 스위트의 불안정 비율은 7퍼센트에서 1.5퍼센트로 떨어졌으며, 팀은 이를 매주 다시 점검합니다.

흔한 실수

  • sleep 추가하기. 잠시 문제를 숨길 뿐이며, 모든 실행을 느리게 만듭니다.
  • 모든 테스트를 재시도하고 넘어가기. 기록 없이 재시도하면 실제 결함이 가려지고, 근본 원인은 그대로 남습니다.
  • 테스트 간 테스트 데이터 공유하기. 병렬 실행에서는 이것이 무작위 실패로 이어집니다.
  • 모든 테스트에서 서드파티 서비스를 테스트하기. 서비스 자체가 대상이 아니라면 스텁으로 대체하십시오.
  • 격리 목록을 무제한으로 늘리기. 담당자가 없는 격리 목록은 방치된 무덤이 됩니다.
  • 도구부터 탓하기. 프레임워크를 바꾸기 전에 타이밍, 데이터, 환경을 먼저 확인하십시오.

소프트웨어가 도움이 되는 방식

먼저 프레임워크가 제공하는 기능부터 활용하십시오. 자동 대기, 트레이스, CI에서의 재시도가 여기에 해당합니다. 패턴이 드러나도록 테스트별 및 원인별 실패 대시보드를 추가하십시오. 처음에는 스프레드시트만으로도 충분합니다. 일반 언어로 된 단계를 AI 에이전트로 실행하는 도구는 에이전트가 대기 시간을 스스로 결정하므로 일부 타이밍 문제를 줄일 수 있습니다. 다만 지시를 잘못 해석하는 등 고유한 위험도 따릅니다. 도입을 결정하기 전에 일부 테스트에서 시범 운영하며 불안정 비율을 비교하십시오.

다음 단계

이번 주에 가장 불안정한 테스트 10개를 나열하고, 위의 다섯 가지 중 가능성이 높은 원인을 각각 지정한 다음, 대기 관련 문제부터 수정하십시오. 그런 다음 불안정한 엔드투엔드 테스트 비율을 매주 추적하고, 격리 목록에 상한을 두어 회귀 테스트 스위트의 가치를 지키십시오.

Entities in this article

End-to-end testing Regression testing AI agent

Related articles

RSS