M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

셀프 힐링 테스트: 의미와 한계

By · · Updated

셀프 힐링 테스트 자동화는 실행 중에 깨진 로케이터를 복구합니다. 작동 방식, 해결할 수 없는 문제, 실제 버그를 가릴 수 있는 위험, 그리고 설정해야 할 가드레일을 살펴봅니다.

Automatically translated with AI from the original post. Read the English original

셀프 힐링 테스트 자동화란 테스트 도구가 깨진 로케이터를 스스로 복구하여, ID 이름 변경 같은 문제없는 변경 후에도 UI 테스트가 계속 실행되도록 하는 것을 말합니다. 이 가이드는 영업 자료에서 이 용어를 접했고 냉정한 답을 원하는 테스트 자동화 엔지니어를 위한 것입니다. 힐링이 어떻게 작동하는지, 무엇을 고칠 수 있고 무엇을 고칠 수 없는지, 실제 버그를 어떻게 가릴 수 있는지, 그리고 이를 안전하게 쓰기 위한 규칙이 무엇인지 살펴봅니다. 가상의 수치로 작성한 예시를 통해 이점과 위험을 함께 보여 드립니다.

핵심 포인트

  • 셀프 힐링은 저장된 로케이터가 더 이상 맞지 않을 때 테스트 도구가 다른 단서로 UI 요소를 찾아, 테스트가 실패하는 대신 계속 진행되도록 하는 기능입니다.
  • 셀프 힐링은 거의 로케이터에만 작동하며, 검증, 테스트 흐름, 업무 규칙, 타이밍 문제에는 작동하지 않습니다. 따라서 테스트 유지보수 중 적은 부분만 다룹니다.
  • 주요 위험은 마스킹된 회귀입니다. 도구가 실제로는 결함인 변경된 요소에 맞춰 동작하면, 사용자 경험이 깨져 있어도 테스트는 통과합니다.
  • 벤더 문서에 따르면 힐링은 실행 시점에 일어나고 스크립트는 그대로 유지됩니다. 따라서 복구된 로케이터도 검토하고 스크립트에 반영해야 합니다.
  • 안전하게 사용하려면 모든 복구를 기록하고, 일정에 따라 검토하며, 도구가 검증 내용을 변경하지 않도록 막고, 통과율이 갑자기 오르는지 주시해야 합니다.

실무에서 셀프 힐링 테스트란 무엇인가

UI 테스트는 로케이터로 페이지의 각 UI 요소를 찾습니다. 로케이터는 "ID가 btn-pay인 요소" 또는 "Pay라는 이름의 버튼"과 같은 규칙입니다. 전통적인 테스트 자동화에서는 규칙이 맞지 않을 때마다 사람이 테스트 스크립트를 수정해야 합니다. 대규모 테스트 스위트에서는 화면 개편 한 번으로 수백 개 단계가 실패할 수 있습니다. 테스트가 실패할 때마다 QA 엔지니어가 원인을 확인해야 하고, 팀은 며칠을 보수 작업에 쓰거나 수동 테스트로 되돌아가곤 합니다.

셀프 힐링은 도구가 이 규칙을 스스로 복구한다는 개념입니다. 그래서 셀프 힐링 테스트는 전통적인 테스트를 깨뜨릴 변경도 버틸 수 있습니다. BugBug 기사 Self Healing Test Automation: Hype & Reality는 이를 원래 로케이터가 작동하지 않을 때 테스트가 UI 요소를 식별하는 방식을 자동으로 조정하는 메커니즘이라고 정의합니다.

힐링이 도구가 제품을 이해한다는 뜻은 아닙니다. 도구가 다른 단서로 같은 요소를 다시 찾으려 시도하고 실행을 이어 간다는 뜻입니다. 셀프 힐링 테스트는 동작은 그대로인 UI 변경이라는 좁은 종류의 깨짐을 복구하는 수단으로 보아야 합니다.

로케이터 힐링의 작동 방식

세부 내용은 테스트 프레임워크와 제품마다 다르지만, 대부분의 셀프 힐링 메커니즘은 같은 패턴을 따릅니다.

  1. 학습. 테스트가 성공적으로 실행되는 동안 도구는 각 요소에 대해 하나 이상의 단서를 기록합니다. BugBug는 이를 지문(fingerprint)이라고 설명하며, ID, 텍스트, 클래스, ARIA 레이블, 페이지 구조 내 위치 같은 속성을 포함합니다.
  2. 감지. 저장된 로케이터가 아무것도 찾지 못하면 도구는 즉시 실패하지 않습니다.
  3. 검색. 도구는 기억하고 있는 요소와 가장 비슷한 요소를 페이지에서 찾습니다. 더 강하고 안정적인 단서일수록 비중이 크고, 약한 단서는 대체 수단으로 쓰입니다.
  4. 계속 진행 및 보고. 도구는 새로 찾은 요소를 사용해 실행을 마치고, 무엇을 했는지 로그에 남깁니다.

BrowserStack의 Playwright용 자가 치유 기능 문서도 같은 흐름을 설명합니다. 원래 로케이터가 더 이상 요소를 찾지 못하면 치유가 시작되며, 같은 요소 식별자로 최소 한 번 이상 성공한 이전 실행 이력이 필요하다고 합니다. 또한 치유는 실행 중에 이루어지고, 스크립트 자체는 그대로 둔 채 해당 실행을 통과 상태로 유지한다고 설명합니다. 문서는 치유된 로케이터를 테스트에 다시 반영할 것을 권장합니다. 한계도 나열하는데, 치유 과정에서 실행 중 추가 분석이 발생하고, Playwright 지원은 제한적이며, 요소가 실제로 존재하지 않는 경우에는 복구할 수 없다고 명시합니다.

최근 일부 도구는 AI 자가 치유를 사용합니다. 고정된 점수 규칙 대신, 흔히 생성형 AI를 기반으로 한 모델이 대체 요소를 선택합니다. T-Plan 가이드는 AI 기반 치유가 테스트에 확률적 동작을 도입하며, 신뢰할 수 있는 자동화는 가능한 한 결정론적이어야 한다고 지적합니다. BugBug는 여기에 치유 과정에서 AI 에이전트가 테스트 로직을 다시 작성하는 것도 아니고, 애플리케이션을 실제로 이해하는 것도 아니라고 덧붙입니다.

마케팅에서는 흔히 AI 테스트가 치유를 수행한다고 말합니다. 실제로 소프트웨어 테스트에서 AI는 단순한 유사도 점수 계산부터 후보 요소의 순위를 매기는 모델까지 폭넓은 범위를 포함합니다. 벤더에게 AI가 실제로 무엇을 결정하는지, 로그에 그 이유가 남는지 확인해야 합니다. AI가 잘못된 요소를 고르면 결함이 빠져나갈 수 있으므로, AI의 선택도 다른 모든 치유와 같은 수준으로 검토해야 합니다.

자가 치유의 이점과 해결할 수 없는 문제

치유는 외형적인 변경에 가장 효과적입니다:

  • 개발자가 ID나 CSS 클래스 이름을 바꾸더라도 동작은 그대로 유지됩니다.
  • 레이아웃 변경으로 버튼의 위치가 다른 곳으로 옮겨집니다.
  • 컴포넌트 라이브러리를 업그레이드해 마크업은 바뀌지만 화면은 그대로인 경우도 마찬가지입니다.

이런 경우에는 이점이 분명합니다. 테스트 유지보수 부담이 줄고, 무해한 UI 변경 때문에 많은 테스트 케이스가 한꺼번에 실패하는 일도 없어집니다.

도구의 자가 치유 기능은 지속적 테스트를 위해 탐색적 테스트와 함께 더 넓은 테스트 자동화 전략의 일부로 활용할 때 제대로 쓰입니다. 이를 통해 UI 변경으로부터 사용자 인터페이스에 대한 테스트 커버리지를 지킬 수 있습니다. 단위 테스트와 API 테스트는 화면 로케이터를 사용하지 않으므로 치유가 전혀 필요하지 않습니다.

하지만 테스트가 실패하는 다른 대부분의 이유는 해결해 주지 못합니다. BugBug는 치유가 거의 전적으로 로케이터에만 적용되며, 어설션, 기대값, 테스트 흐름, 비즈니스 규칙에는 적용되지 않는다고 밝힙니다. 타이밍 문제나 부실한 테스트 아키텍처도 해결하지 못합니다. 불안정한 대기나 공유 데이터가 문제라면, 치유로는 해결되지 않으므로 불안정한(플레이키) 테스트를 먼저 별도의 주제로 다뤄야 합니다. 같은 글은 역할 기반 시스템, 동적 대시보드, 다단계 트랜잭션, 조건이 많은 화면에서 치유가 어렵고, 요소를 식별하는 데 더 많은 맥락이 필요할수록 치유도 더 어려워진다고 설명합니다.

좋은 로케이터와 안정적인 테스트 ID는 치유가 필요해지기 전에 많은 오류를 미리 막아 줍니다. Playwright의 모범 사례는 취약한 CSS나 XPath 경로 대신, 역할과 텍스트처럼 사용자가 실제로 보는 것을 반영하는 로케이터를 권장합니다. 이 조언은 Selenium 스위트에서도 도움이 됩니다.

자가 치유 테스트 자동화와 가려진 회귀의 위험

가장 중요한 위험은 설명하기는 간단합니다. 적응하는 자가 치유 도구는 결함에도 적응할 수 있다는 것입니다.

자가 치유 테스트 자동화에 관한 T-Plan 가이드는 이를 가려진 회귀(masked regression)라고 부릅니다. 프레임워크가 실제로는 결함을 나타내는 변경된 요소에 자동으로 적응해, 사용자 경험이 저하되었는데도 테스트가 통과할 수 있다는 뜻입니다. 이는 잘못된 확신을 만들고 자동화에 대한 신뢰를 떨어뜨린다고 덧붙입니다. 또한 자가 치유 시스템이 잘못된 대체 요소를 고를 수 있고, 치유가 공격적일수록 잘못된 매칭의 위험이 커지며, 일부 실패는 계속 드러나 있어야 한다고 설명합니다.

예를 들어 잘못된 병합 후 테스트 대상 애플리케이션에서 같은 자리의 저장 버튼이 삭제 버튼으로 바뀌었다고 가정해 봅시다. "폼 하단의 버튼"을 찾는 테스트는 새 버튼으로 치유된 뒤 그 버튼을 클릭하고 계속 진행할 수 있습니다. 스위트는 계속 통과 상태로 남고, 버그는 그대로 배포됩니다.

이것이 통과율 상승이 항상 좋은 소식은 아닌 이유입니다. UI 릴리스 이후 관련 테스트 변경 없이 통과율이 뛰어올랐다면, 축하하기 전에 치유 로그를 먼저 확인하십시오.

안전하게 사용하기 위한 가드레일

T-Plan과 BugBug 가이드도 비슷한 조언을 합니다. 자체적으로 자가 치유를 구현하든 자가 치유 도구를 구매하든 모두 해당됩니다.

  1. 모든 치유를 기록하십시오. 기존 로케이터, 새 로케이터, 일치 신뢰도, 그리고 도구가 페이지에서 변경한 내용을 기록합니다.
  2. 일정에 따라 검토하십시오. 조용한 자동 적응을 무기한 허용하지 마십시오. 각 릴리스 후 치유 로그를 확인하고 항목마다 승인하거나 거부합니다.
  3. 가능하면 제안 모드를 사용하십시오. 도구가 수정안을 제안하고, 사람이 이를 수락하도록 합니다.
  4. 단언(assertion)은 절대 변경하지 마십시오. 치유는 요소를 찾는 방식을 바꿀 수는 있지만, 테스트가 무엇을 기대하는지, 즉 테스트의 의도는 결코 바꿔서는 안 됩니다.
  5. 수정 내용을 원본에 반영하십시오. 치유는 실행만 복구하므로, 더 나은 로케이터로 스크립트를 업데이트해야 합니다.
  6. 적용 범위를 제한하십시오. 모든 요소가 자동으로 치유되어야 하는 것은 아닙니다. 결제와 같은 핵심 흐름에는 페이지가 어떻게 보이는지를 확인하는 시각적 테스트처럼 더 엄격한 검사가 필요할 수 있습니다.
  7. 추세를 살펴보십시오. 통과율이 갑자기 오르면 설명이 필요합니다. 자가 치유 자동화는 테스트 스위트를 실제보다 더 건강해 보이게 만들 수 있기 때문입니다.

예시: 결제 리팩터링, 치유 사용 여부에 따른 비교

아래 수치는 가상의 값입니다.

한 팀에 브라우저에서 실행되는 자동화 테스트가 400개 있습니다. 프런트엔드 리팩터링으로 결제 페이지 전체의 ID 이름이 바뀝니다. 치유가 없으면 60개 테스트가 로케이터 문제로 실패하고, 각 실패마다 확인이 필요합니다. 엔지니어가 이를 수리하는 데 약 이틀이 걸리며, 그동안 팀은 신뢰할 수 있는 회귀 테스트 결과를 얻지 못합니다.

치유 기능을 켜면, 도구가 테스트 실행 중에 로케이터를 복구하여 각 테스트가 계속 진행되고, 이 60개 중 55개가 치유된 로케이터로 통과합니다. QA 리드는 보고서에서 모든 치유 내역을 확인합니다. 나머지 5개는 요소가 의도적으로 제거되었기 때문에 여전히 실패합니다. 엔지니어는 이 5개에 반나절을 쓰고, 치유 로그를 읽는 데 한 시간을 더 씁니다.

로그에서 잘못된 것으로 보이는 치유가 두 건 있습니다. 주소 편집 테스트에서 도구가 "저장 주소" 대신 "주소 삭제"를 클릭했습니다. 이 테스트는 페이지가 여전히 로드되는지만 확인했기 때문에 통과했습니다. 엔지니어는 두 로케이터를 모두 수정하고, 저장된 주소가 목록에 나타나는지 확인하는 더 강력한 단언을 추가합니다.

결과적으로 약 이틀이던 수리 작업이 대략 하루로 줄었습니다. 이 절감 효과는 실재하지만, 사람이 로그를 읽었기 때문에만 가능합니다. 그런 검토가 없었다면 두 테스트는 잘못된 대상을 검증하면서도 계속 통과로 남았을 것입니다.

흔한 실수

  • 자가 치유를 좋은 로케이터의 대체재로 여기는 것. 안정적인 역할, 텍스트 또는 테스트 ID 로케이터는 깨짐을 예방하며 비용도 들지 않습니다.
  • 조용히 실행되도록 방치하는 것. 아무도 로그를 읽지 않으면 잘못된 치유가 눈에 띄지 않게 쌓입니다.
  • 불안정한 테스트까지 고쳐 줄 것이라고 기대하는 것. 타이밍 문제와 불안정한 테스트 데이터는 서로 다른 해결책이 필요합니다.
  • 추가 보호 장치 없이 핵심 검사에 사용하는 것. 결제 및 권한 흐름에는 시각적 회귀 테스트나 데이터 검사를 추가하십시오.
  • 파일럿 없이 테스트 유지보수 노력이 줄어든다는 공급업체 수치를 믿는 것. 도입을 결정하기 전에 자신의 테스트 스위트에 미치는 실제 효과를 측정하십시오.

소프트웨어가 도움이 되는 방식

많은 테스트 자동화 프레임워크, 클라우드 플랫폼 및 기타 자동화 도구가 이제 단순 대체 로케이터, 유사도 점수 산정, AI 기반 요소 선택 등 다양한 형태의 치유 기능을 제공합니다. 이름이 아니라 위에서 설명한 기준으로 비교하십시오. 자가 치유 플랫폼이 모든 치유 내역을 보여 주고, 이를 승인할 수 있으며, 스크립트 변경 사항으로 내보낼 수 있는지 확인하십시오. 적절히 선택한 로케이터와 짧은 검토 습관을 갖춘 일반 Selenium 또는 Playwright 스위트도 어떤 자가 치유 도구에 대해서든 유효한 대안입니다. 결정하기 전에 불안정한 영역 하나에서 파일럿을 실행하고 유지보수 시간을 비교하십시오. 자연어 단계로 작동하며 흔히 에이전틱 AI라고 불리는 AI 에이전트 기반 도구도 같은 검토 관련 질문을 제기합니다.

다음 단계

엔드 투 엔드 테스트 스위트에서 자주 깨지는 부분 하나를 골라, 한 릴리스 동안만 해당 영역에 치유 기능을 켜고 모든 치유 내역을 직접 검토하십시오. 그다음 올바른 치유가 얼마나 되었는지를 바탕으로 자가 치유 테스트 자동화가 스위트에서 더 넓은 역할을 맡을 가치가 있는지 판단하십시오.

Entities in this article

End-to-end testing AI agent Generative AI

Related articles

RSS