단위, 통합 및 엔드투엔드 테스트: AI가 가장 큰 도움이 되는 영역
By Mirko Peters · · Updated
단위 테스트, 통합 테스트, 엔드투엔드 테스트의 차이: 각 테스트가 검증하는 대상, 작성해야 할 테스트 수, 그리고 단위 테스트 초안 작성부터 브라우저 흐름 검토까지 AI가 가장 큰 도움이 되는 영역을 살펴봅니다.
Automatically translated with AI from the original post. Read the English original
단위 테스트, 통합 테스트, 엔드투엔드 테스트의 차이는 모든 소프트웨어 테스트 전략의 바탕이 되는 질문입니다. 각 수준은 서로 다른 대상을 검증하고, 비용도 다르며, 얻을 수 있는 확신의 종류도 다릅니다. 이 가이드는 소프트웨어 테스트에 AI를 어디에 도입해야 하는지 질문받는 QA 리더를 위한 자료입니다. 각 수준이 무엇을 검증하는지, 건강한 테스트 스위트에 각 유형의 테스트가 몇 개씩 있어야 하는지, AI가 가장 큰 도움이 되는 영역과 위험을 더하는 영역을 확인하게 됩니다. 가상의 수치를 사용한 실제 사례를 통해 한 팀이 노력을 어디에 집중하기로 결정했는지도 보여드립니다.
핵심 포인트
- 단위 테스트는 코드 한 조각을 검증하고, 통합 테스트는 애플리케이션과 외부 요소 간의 연결을 검증하며, 엔드투엔드 테스트는 배포된 시스템을 사용자 인터페이스를 통해 실행하며 검증합니다.
- 테스트 피라미드는 작고 빠른 단위 테스트를 많이 작성하고, 범위가 더 넓은 테스트를 일부 작성하며, 상위 수준 테스트는 매우 적게 작성하라고 말합니다. 상위 수준 테스트일수록 실행 속도가 느리고 유지 관리가 더 많이 필요하기 때문입니다.
- AI는 단위 테스트와 API 테스트 초안 작성처럼 결과물이 작고 확인하기 쉬운 영역, 그리고 사람이 생성된 모든 테스트를 검토할 수 있는 영역에서 가장 유용합니다.
- AI가 생성한 테스트는 동작을 제대로 검증하지 않으면서 커버리지 수치만 부풀릴 수 있습니다. 예를 들어 코드를 실행만 하고 검증(assertion)이 약하거나 아예 없는 테스트가 여기에 해당합니다.
- 모든 수준에서 AI 결과물을 초안으로 취급하십시오. 모호한 흐름, 시각적 검증, 접근성 검토에는 사람의 판단을 유지하십시오.
단위, 통합, 엔드투엔드 테스트: 각 테스트가 검증하는 대상
Martin Fowler의 글 The Practical Test Pyramid에 명확한 정의가 나와 있습니다.
- 단위 테스트는 코드베이스의 특정 단위, 즉 테스트 대상(subject under test)이 의도한 대로 동작하는지 확인합니다. 모든 테스트 유형 중에서 검증 범위가 가장 좁습니다. 개발자가 가장 자주 작성하는 수준의 단위 테스트입니다.
- 통합 테스트는 애플리케이션과 데이터베이스, 파일 시스템, 별도의 서비스처럼 애플리케이션 외부에 있는 요소와의 통합을 검증합니다. Fowler는 한 번에 하나의 외부 통합 지점만 검증하는 좁은 범위의 테스트를 선호합니다. 이것이 통합 테스트의 역할입니다.
- 엔드투엔드 테스트는 배포된 애플리케이션을 사용자 인터페이스를 통해 검증하며, 통합된 전체 시스템을 다룹니다. Fowler는 이를 광범위 스택 테스트(broad stack test)라고 부릅니다. 이것이 엔드투엔드 테스트입니다.
단위 테스트와 통합 테스트의 가장 큰 차이는 범위입니다. 하나의 코드 조각을 보는지, 조각 사이의 연결을 보는지의 차이입니다. 기능 테스트와 시스템 테스트도 외부에서 소프트웨어를 검증하며, 엔드투엔드 테스트는 브라우저를 통해 실행되는 형태입니다. 따라서 팀 안에서 용어의 의미를 먼저 합의해 두십시오.
개발자는 보통 단위 테스트를 작성하고, 커밋할 때마다 단위 테스트를 실행합니다. 각 수준이 답하는 질문으로 차이를 기억하면 쉽습니다. 단위 테스트는 "이 함수가 올바른가?"를 묻습니다. 통합 테스트는 "이 다른 시스템과 올바르게 통신하는가?"를 묻습니다. 엔드투엔드 테스트는 "사용자가 이 여정을 끝까지 완료할 수 있는가?"를 묻습니다.
각 수준의 테스트를 몇 개씩 작성할 것인가: 테스트 피라미드
테스트 피라미드는 이러한 균형을 설명할 때 흔히 쓰는 모델입니다. Fowler's는 작고 빠른 단위 테스트를 많이 작성하고, 범위가 더 넓은 테스트를 일부 두며, 상위 수준의 테스트는 매우 적게 두라고 조언합니다. 그는 이를 규칙으로 제시합니다. 수준이 높을수록 테스트는 적어야 합니다.
이유는 비용입니다. 글에 따르면 단위 테스트는 매우 빠르게 실행되고, 실제 외부 구성 요소가 관여하기 때문에 통합 테스트는 훨씬 느린 경향이 있으며, 엔드 투 엔드 테스트는 상당히 느리게 실행됩니다. 엔드 투 엔드 테스트는 유지 관리 부담도 크고, 불안정하기로 악명이 높습니다.
이러한 불안정성은 대규모에서 측정할 수 있습니다. Google Testing Blog의 게시물 Flaky Tests at Google and How We Mitigate Them에 따르면, 테스트 실행의 약 1.5퍼센트가 불안정한 결과를 냈고, 테스트의 거의 16퍼센트에 어느 정도 불안정성이 있었습니다.
세 수준 모두 회귀 테스트에 기여합니다. 변경이 있을 때마다 다시 실행되기 때문입니다.
Fowler는 반대 형태도 경고하며, 이를 테스트 아이스크림 콘이라고 부릅니다. 상단에 수동 테스트와 브라우저 수준 테스트가 많고, 하단에 단위 테스트가 적은 구조입니다. 그는 이것이 유지 관리가 악몽이고 실행 시간이 지나치게 길다고 설명합니다. 테스트 구조가 이런 모양이라면, AI를 추가해도 구조는 바뀌지 않습니다. 느린 테스트를 더 빠르게 많이 만들어 낼 뿐일 수 있습니다.
단위 테스트와 통합 테스트: 각 수준을 언제 사용할지
TestRail의 단위 테스트와 통합 테스트 비교는 실질적인 차이점을 정리합니다. 단위 테스트는 구현이 빠르고 실행도 빠르며, 보통 개발자가 담당합니다. 통합 테스트에는 대개 QA 엔지니어와 테스터가 참여합니다. 단위 테스트는 외부 시스템을 피하기 위해 목(mock)과 스텁(stub)을 사용합니다. 반면 통합 테스트는 실제 상호 작용에 초점을 맞추지만, 외부 서비스를 사용할 수 없거나 불안정하거나 비용이 많이 드는 경우에는 여전히 목을 사용할 수 있습니다.
단위 테스트의 장점은 빠른 피드백, 초기 버그 발견, 더 모듈화된 코드입니다. 단점은 단위 테스트 모음만으로는 각 부분이 함께 제대로 동작하는지 확인할 수 없다는 점이며, 이를 보완하는 것이 통합 테스트입니다. TestRail은 개발 초기에는 격리된 로직에 단위 테스트를 적용하고, 여러 모듈, 데이터베이스 또는 타사 서비스에 걸친 워크플로에는 통합 테스트를 적용하라고 제안합니다. 통합 테스트를 실행하는 방법으로는 두 가지를 설명합니다. 하나는 개발이 끝난 뒤 모든 것을 한꺼번에 테스트하는 빅뱅 방식으로, 디버깅이 더 어렵습니다. 다른 하나는 작은 그룹을 단계별로 테스트하는 점진적 방식으로, 문제의 위치를 더 쉽게 찾을 수 있습니다.
Fowler는 테스트 수준을 결정하는 규칙을 제시합니다. 상위 수준 테스트가 오류를 발견했는데 하위 수준 테스트가 실패하지 않았다면, 하위 수준 테스트를 작성하라는 것입니다. 가능한 한 테스트를 피라미드 아래쪽으로 내리고, 하위 수준이 이미 다루는 내용을 중복하는 상위 수준 테스트는 제거하십시오. 포괄적인 테스트 전략은 세 수준을 모두 사용하며, 각 상위 수준은 하위 수준이 다루지 못하는 영역에 집중합니다.
자주 나오는 관련 질문이 두 가지 있습니다. Fowler는 중간 계층을 통합 테스트라고 부르는 사람도 있고 컴포넌트 테스트라고 부르는 사람도 있다고 언급하며, 이름보다 용어에 합의하는 것이 더 중요하다고 말합니다. 또한 사용자 관점에서 소프트웨어를 검증하는 인수 테스트는 어떤 수준에도 놓일 수 있으므로 피라미드와 직교한다고 설명합니다. 따라서 단위 테스트와 엔드 투 엔드 테스트는 서로 경쟁하는 학파가 아니라 하나의 척도에서 양 끝에 있는 것입니다.
이러한 테스트는 파이프라인에서 자동화하기 쉽습니다. TestRail에 따르면 단위 테스트는 보통 푸시나 풀 요청 직후처럼 일찍 실행되며, 통합 테스트는 앱이 스테이징 또는 테스트 환경에 배포된 뒤 나중에 실행됩니다. 이 둘을 함께 사용하면 품질 게이트를 구성합니다.
AI가 가장 도움이 되는 영역
생성형 AI 기반 도구는 제품마다 다르지만, 공급업체의 안내에서는 공통된 패턴이 보입니다. Parasoft의 소프트웨어 테스트에서 AI를 활용하는 방법 글은 팀이 변경 사항이 생생할 때 단위 테스트와 API 테스트를 생성하라고 권장합니다. 또한 API 테스트 작성, 어서션 제안, 데이터 시나리오 구성에 AI가 도움을 줄 수 있다고 언급합니다. 아울러 느리거나 비용이 많이 들거나 사용할 수 없는 종속 요소를 시뮬레이션하는 서비스 가상화가 통합 테스트를 지원한다고 설명합니다.
이는 피라미드 모델과 맞아떨어집니다. 다음 이유는 측정 결과가 아니라 저희의 추론입니다:
- 작은 출력물은 검토하기 쉽습니다. 생성된 단위 테스트는 몇 줄에 불과합니다. 검토자는 이를 읽고 실행해 보면서 1분 안에 올바른 대상을 검증하는지 판단할 수 있습니다.
- 빠른 피드백은 잘못된 테스트를 드러냅니다. 잘못된 단위 테스트는 빠르게 실패하거나 통과하므로, 같은 날 문제를 발견할 수 있습니다.
- 명확한 입력과 출력. 함수와 API 호출은 정의된 입력과 출력을 가지므로, 도구가 정확한 대상을 갖게 됩니다.
- 반복적인 사례가 많습니다. 단위 테스트에서는 경계값과 오류 경로가 반복적으로 등장하며, 초안을 활용하면 입력 작업을 줄일 수 있습니다.
AI가 초안을 작성하고 사람이 책임지도록 하십시오. 생성된 테스트를 수락하는 사람은 직접 작성한 테스트와 마찬가지로 그 테스트가 검증하는 내용에 대해 책임을 집니다.
통합 테스트의 경우 AI는 테스트 케이스나 테스트 데이터를 초안으로 작성하고 의존성을 시뮬레이션할 수 있습니다. 그러나 다른 시스템과의 계약이 무엇인지는 사람이 결정해야 하며, 통합 테스트는 바로 그 계약을 검증합니다.
엔드 투 엔드 테스트 수준에서는 AI가 다른 방식으로 도움을 줍니다. 브라우저에서 평이한 언어로 작성된 단계를 실행하는 도구는 사용자 여정 테스트를 작성하는 비용을 낮춰 줄 수 있습니다. 하지만 실행 비용을 바꾸지는 못하며, 명확한 통과 또는 실패 기준이 필요하다는 사실도 없애지 못합니다.
AI의 도움이 가장 적은 영역과 주의할 점
Parasoft 기사는 한계에 대해 직설적으로 이야기합니다. 모든 AI 생성 변경 사항에 사람의 검토를 유지하고, AI 출력물을 초안으로 취급하라고 말합니다. 잘못 사용하면 AI가 동작을 검증하지 않은 채 커버리지를 부풀릴 수 있다고 지적하며, 코드 경로는 실행하지만 어서션이 약하거나 없는 빈 테스트에 대해서도 경고합니다. 같은 입력에도 실행할 때마다 출력이 달라지는 경우를 주의 신호로 꼽습니다. 또한 AI는 안전이 중요한 변경을 승인하거나, 모호한 흐름, 시각적 점검, 접근성 검토에서 사람의 판단을 대신할 수 없다고 덧붙입니다. 데이터와 관련해서는 비밀 정보나 규제 대상 데이터가 포함된 프롬프트를 사용하지 말라고 경고합니다.
AI를 활용하는 테스트 전략에는 네 가지 점검이 필요합니다.
- 커버리지는 올라가지만 아무것도 잡아내지 못하는 경우. 커버리지 수치만이 아니라 어서션을 확인하십시오.
- 코드를 그대로 따라 하는 테스트. 구현을 반복하는 테스트는 로직이 잘못되어 있어도 통과합니다.
- 불안정한 출력. 생성된 테스트가 실행할 때마다 달라진다면, 검토한 버전을 고정하십시오.
- 회사 밖으로 나가는 데이터. 비밀 정보, 고객 데이터, 규제 대상 데이터를 프롬프트에 붙여 넣지 마십시오.
예시: 한 팀이 노력을 기울인 곳
아래 수치는 가상의 값입니다.
한 팀에는 자동화 테스트가 600개 있습니다. 단위 테스트 450개, 통합 테스트 110개, 엔드 투 엔드 테스트 40개입니다. 60분짜리 파이프라인에서 브라우저 테스트가 50분을 차지하며, 매주 그중 6개가 무작위로 실패합니다.
QA 리더는 세 가지 조치를 취했습니다. 첫째, AI 어시스턴트가 새 코드에 대한 단위 테스트 초안을 작성하고, 개발자가 모든 초안을 검토합니다. 첫 달에 어시스턴트는 테스트 120개의 초안을 작성했습니다. 어서션이 약하다는 이유로 검토자가 30개를 반려했고, 나머지 90개가 테스트 모음에 추가되었습니다.
둘째, AI가 통합 테스트의 데이터 초안을 작성하지만, 계약 자체는 여전히 사람이 직접 작성합니다.
셋째, 엔드 투 엔드 테스트 40개에는 AI 지원을 적용하지 않았습니다. 리더는 더 빠른 하위 수준 테스트가 이미 다루고 있는 중복 테스트 6개를 제거했고, 파이프라인 시간은 60분에서 48분으로 줄었습니다. AI 노력은 검토 비용이 가장 낮은 곳에 집중되었고, 느린 계층은 더 작아졌습니다.
흔한 실수
- AI로 브라우저 테스트를 더 늘리는 경우. 느리고 불안정한 계층이 커지면서 파이프라인도 더 느려집니다.
- 생성된 테스트를 읽지 않고 수락하는 경우. 약한 어서션은 안전성 없이 커버리지만 제공합니다.
- 테스트 개수로 성공을 측정하는 경우. 대신 발견한 결함 수와 절약한 시간을 측정하십시오.
- 통합 테스트를 건너뛰는 경우. 단위 테스트와 몇 개의 사용자 여정만으로는 시스템 간의 깨진 계약을 놓칠 수 있습니다.
- 프롬프트에 민감한 데이터를 붙여 넣는 경우. 첫 프롬프트를 사용하기 전에 정책을 정하십시오.
소프트웨어가 도움이 되는 방식
기존 테스트 프레임워크와 CI 시스템은 이미 실행 시간과 실패율을 보고하고 있습니다. 여기서 시작하고, 수치를 계층별로 묶어 보십시오. 코드 검토 도구는 생성된 테스트를 코드 옆에서 검토자가 볼 수 있으므로 AI 초안을 검토하는 데 도움이 됩니다. 커버리지 도구는 어서션 점검과 함께 읽어, 커버리지를 품질로 오해하지 않도록 하십시오. 소프트웨어 테스트의 한 계층에 AI 어시스턴트를 먼저 도입하고, 파일럿을 확대하기 전에 검토 시간, 반려된 초안, 누락된 결함을 비교해 보십시오.
다음 단계
테스트 계층마다 테스트 수를 세고, 계층별 실행 시간과 불안정 비율을 기록하십시오. 그다음 AI 파일럿을 적용할 계층 하나를 고르고 무엇을 측정할지 적어 두십시오. 그래야 단위 테스트 대 통합 테스트 대 엔드 투 엔드 테스트에 대한 다음 논의가 데이터에서 출발할 수 있습니다.