M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

AI가 사용자 스토리로 테스트 케이스를 작성할 수 있을까? 먼저 확인할 사항

By · · Updated

AI가 사용자 스토리에서 테스트 케이스를 생성할 수 있을까요? 연구에 따르면 초안은 빠르게 만들어지지만 빈틈이 있습니다. 먼저 확인할 사항인 커버리지, 모호성, 엣지 케이스, 그리고 만들어진 테스트를 살펴봅니다.

Automatically translated with AI from the original post. Read the English original

AI가 사용자 스토리에서 테스트 케이스를 생성할 수 있을까요? 가능하며, 몇 초면 결과가 나옵니다. 다만 테스트 스위트에 넣기 전에 초안을 신중하게 검토해야 합니다. 이 가이드는 품질을 떨어뜨리지 않으면서 이를 시험해 보려는 QA 리드를 위한 것입니다. 발표된 두 연구에서 무엇이 확인되었는지, 어떤 문제가 반복해서 나타나는지, 그리고 초안을 점검하는 체크리스트를 살펴봅니다. 가상의 수치를 사용한 실습 예시로, 검토가 생성된 테스트 케이스 묶음을 어떻게 바꾸는지도 보여 드립니다.

핵심 포인트

  • AI는 사용자 스토리에서 테스트 케이스 초안을 몇 초에서 몇 분 안에 작성할 수 있습니다. Thoughtworks 실험에서는 명시된 인수 조건에 대한 커버리지가 높게 나타났지만, 품질은 스토리가 얼마나 명확한지에 따라 달라졌습니다.
  • 같은 실험에서 생성된 케이스의 약 27퍼센트에서 모호성이 측정되었고, 약 6퍼센트는 잘못된 케이스였습니다. 따라서 검토는 선택 사항이 아닙니다.
  • 연구들은 반복적으로 나타나는 네 가지 문제를 설명합니다. 관련 없거나 만들어진 케이스, 중복된 케이스, 누락된 엣지 케이스, 그리고 입력이 충분히 specify되지 않은 경우입니다.
  • 각 초안을 인수 조건과 대조해 검토하고, 중복을 제거하며, 엣지 케이스와 부정 경로를 추가하고, 모호한 단계는 다시 작성하세요.
  • 모델은 초안을 만드는 보조 도구로 보고, 회귀 테스트 스위트에 들어가는 내용에 대해서는 사람이 책임지도록 하세요.

AI가 사용자 스토리에서 테스트 케이스를 생성할 수 있을까요? 연구 결과

Thoughtworks 기사인 AI generated test cases from user stories: an experimental research study는 소규모 실험을 설명합니다. 경력 3~5년의 QA 엔지니어 세 명이 아홉 개의 사용자 스토리에 대해 수동 테스트 케이스를 작성했습니다. 이후 생성형 AI 도구, 주로 GitHub Copilot과 비교 대상인 ChatGPT가 정제된 프롬프트를 바탕으로 같은 스토리에 대한 테스트 케이스를 생성했습니다.

평균적으로 생성된 케이스는 인수 조건의 98.67퍼센트를 포괄했으며, 구조도 일관적이었습니다. 이 기사는 약 4퍼센트의 중복, 약 6퍼센트의 잘못된 테스트 케이스, 약 27퍼센트의 모호성 점수를 보고합니다. 생성 과정은 시간 단위가 아니라 몇 초에서 몇 분이 걸린다고 설명합니다.

한계도 분명했습니다. 품질은 입력의 품질과 구체성에 크게 좌우되었습니다. 도구는 복잡한 비즈니스 로직에서 어려움을 겪었고, 명시적인 지침 없이는 엣지 케이스를 거의 찾지 못했으며, 요청하지 않으면 비기능 테스트도 거의 다루지 않았습니다. 저자들은 가설이 부분적으로만 검증되었다고 평가하고, 사람의 감독이 여전히 필수적이라고 말하며, 아홉 개 사용자 스토리라는 표본이 작다는 점도 언급합니다.

두 번째 논문은 arXiv 연구인 Automatic High-Level Test Case Generation using Large Language Models입니다. 이 논문은 사용자 스토리가 아니라 유스케이스를 다루므로 관련 결과로 참고할 만합니다. 저자들은 168개 프로젝트에서 수집한 1,067개의 유스케이스와 3,606개의 테스트 케이스로 데이터셋을 구축했습니다. 사람이 평가한 결과, GPT-4o는 완전성 3.91점, 관련성 3.98점을 받았습니다. 사람이 작성한 테스트 케이스는 각각 4.04점과 4.30점이었습니다. 저자들은 결과물이 만족스럽다고 판단했지만, 자동 생성된 테스트 케이스에 대해서는 사람에 의한 전면적인 평가가 반드시 필요하다고 밝혔습니다.

숫자가 말해 주는 것과 말해 주지 않는 것

백분율을 볼 때는 주의해야 합니다. 두 연구 모두 자신들의 한계를 명시하고 있습니다. Thoughtworks 실험은 사용자 스토리 9개, 특정 도구와 버전, 일부 주관적인 평가를 바탕으로 했으며, 장기적인 생산성은 측정하지 않았습니다. 또한 세부적인 프롬프트 해석이 필요한 경우에는 ChatGPT가 GitHub Copilot보다 더 나은 결과를 냈다고 보고합니다. 즉, 결과는 도구와 프롬프트에 따라 달라집니다.

arXiv 논문에서 26명의 사람 평가자들은 서로 중간 정도의 일치도만 보였습니다. Cohen's Kappa 값은 0.42였습니다. 또한 참여자는 편의 표본이었습니다. 저자들은 자동 유사도 점수로는 누락된 경계값 케이스나 부정 케이스를 안정적으로 찾아낼 수 없다고도 말합니다. 그래서 사람에 의한 평가를 요구하는 것입니다.

높은 커버리지 수치도 다시 살펴볼 필요가 있습니다. 이 수치는 문서로 작성된 기준만 측정합니다. 스토리에 아무도 적어 두지 않은 규칙은 보여 주지 못하며, 결함이 숨어 있는 곳은 대개 그런 암묵적인 규칙입니다.

반복해서 나타나는 네 가지 문제

arXiv 논문은 반복적으로 나타나는 네 가지 문제를 꼽고 있으며, Thoughtworks의 결과도 같은 방향을 가리킵니다.

  1. 관련 없는 케이스. 저자들은 이 문제를 AI 환각(hallucination)과 연결합니다. 모델이 그럴듯하게 들리지만 부정확한 정보를 만들어 내는 현상입니다. 한 예로, 애플리케이션이 지원하지 않는 기능에 대한 테스트가 생성된 경우가 있었습니다.
  2. 중복 케이스. 일부 케이스는 사소한 변경만 있을 뿐 다른 케이스를 그대로 반복합니다.
  3. 누락된 경계값 케이스. 모델은 지원되지 않는 파일 형식을 거부하는 경우처럼, 사람 테스터가 포함시킨 케이스를 놓쳤습니다.
  4. 입력 명세 부족. 생성된 일부 케이스는 테스트에 필요한 입력 필드를 빠뜨렸습니다.

이 문제들 중 어느 것도 초안을 쓸모없게 만들지는 않습니다. 다만 무엇을 살펴봐야 하는지 알려 줄 뿐입니다.

먼저 확인할 것: 검토 체크리스트

Thoughtworks는 운영 환경에 적용하기 전에 인수 기준과 대조하고, 불명확한 로직을 표시하며, 경계값 커버리지를 검증하는 방식으로 출력물을 검토할 것을 권장합니다. 이를 배치마다 적용할 수 있는 체크리스트로 정리하면 다음과 같습니다.

  • 커버리지. 각 인수 기준에 최소 하나의 테스트 케이스가 있습니까? 기준을 나열하고 하나씩 확인 표시를 하십시오.
  • 임의로 만들어진 테스트. 각 케이스가 스토리의 무언가와 일치합니까? 존재하지 않는 기능에 대한 케이스는 삭제하십시오.
  • 중복. 같은 동작을 같은 데이터로 확인하는 케이스는 병합하십시오.
  • 구체적인 단계. 각 단계가 요소와 데이터를 명시하고 있습니까? "유효한 데이터를 입력"과 같이 모호한 표현은 다시 작성하십시오.
  • 예상 결과. 각 예상 결과를 화면이나 레코드에서 확인할 수 있습니까?
  • 경계값 케이스와 부정 경로. 빈 입력, 잘못된 형식, 한계값, 권한 실패를 추가하십시오.
  • 비기능 요구 사항. 스토리가 암시하는 성능, 접근성, 보안 검사를 추가하십시오. 모델이 이를 건너뛸 수 있기 때문입니다.

대규모 배치라면 먼저 샘플을 검토하십시오. 처음 10개의 케이스를 전부 읽어 보는 것입니다. 그중 다수가 체크리스트를 통과하지 못한다면, 나머지를 계속 읽기 전에 스토리나 프롬프트를 먼저 고치십시오. 같은 결함이 나머지 케이스에서도 반복될 것이기 때문입니다. 이는 작업 원칙이며, 연구 결과에서 나온 내용은 아닙니다.

AI 테스트 케이스 생성은 소프트웨어 테스팅에서 테스트 자동화에 앞서 수행하는 초안 작성 단계에 해당합니다. QA 팀은 AI를 활용해 스토리의 각 테스트 시나리오에 대한 테스트 케이스를 만들고, 인수 기준에 비추어 테스트 커버리지를 확인한 다음, 어떤 케이스를 자동화 테스트로 전환할지 결정할 수 있습니다. 입력 작업은 AI 도구가 맡고, 테스트 설계는 QA 팀이 책임집니다. 이런 방식으로 활용하면 테스트 스위트의 품질을 낮추지 않으면서도 테스트를 더 빠르게 만들 수 있습니다.

이 검토 작업은 human-in-the-loop 방식의 작업입니다. 테스터는 초안을 처음부터 다시 입력하지 않습니다. 대신 초안을 판단합니다. 그리고 이 판단이야말로 모델이 제공할 수 없는 부분입니다.

AI가 더 잘 이해하도록 입력 개선하기

Thoughtworks는 프롬프트가 기본적인 요청에서, 모델에 역할을 부여하고 적절한 경우 Given, When, Then 형식을 사용하도록 요청하는 형태로 발전했다고 보고합니다. 또한 복잡한 시나리오의 커버리지를 확보하려면 프롬프트를 상당히 다듬어야 했다고 밝힙니다. 다음 세 가지 습관이 도움이 됩니다.

  1. 명확한 인수 기준을 작성합니다. 스토리가 모호하면 테스트 케이스도 모호해집니다. 먼저 스토리를 바로잡으십시오.
  2. 맥락을 추가합니다. 사용자 역할, 제품 영역, 그리고 모델이 추측할 수 없는 규칙을 명시하십시오.
  3. 구조를 요청합니다. 명확한 형식으로 AI를 사용하십시오. 각 케이스에 대해 제목, 사전 조건, 단계, 데이터, 예상 결과를 요청하고, AI에게 가정 사항을 나열하도록 요청하십시오.

프롬프트에는 비밀 정보와 고객 데이터를 포함하지 마십시오. 가상의 예시 값을 사용하십시오.

예: 한 배치 검토하기

아래 수치는 가상의 것입니다.

한 팀이 AI 어시스턴트에 사용자 스토리 10개를 제공합니다. 몇 분 만에 테스트 케이스 60개가 생성됩니다. QA 리드가 제품 책임자와 함께 이를 검토합니다.

  • 중복 케이스 6개를 발견하여 팀이 이를 삭제합니다.
  • 제품에 없는 동작을 테스트하는 케이스 5개도 삭제합니다. 이렇게 하면 49개가 남습니다.
  • 남은 49개 중 7개는 단계 또는 결과가 모호하여 팀이 이를 다시 작성합니다.
  • 엣지 케이스와 부정 경로 9개가 빠져 있어 팀이 직접 추가합니다.

최종 테스트 스위트에는 테스트 케이스 58개가 남습니다. 검토에는 약 3시간이 걸렸으며, 58개를 처음부터 모두 작성하려면 꼬박 하루가 걸렸을 것입니다. 팀은 검토 노트를 보관하고, 어떤 유형의 케이스가 거부되었는지 기록하여 다음 스프린트를 위해 프롬프트를 개선하는 데 활용합니다. 효과는 실제로 있지만, 모델 자체보다는 검토 과정에서 나옵니다.

흔한 실수

  • 배치를 검토하지 않고 수락합니다. 중복되거나 임의로 만들어진 케이스가 스위트에 들어가면 스위트에 대한 신뢰가 떨어집니다.
  • 케이스 수로 성공을 판단합니다. 케이스가 많다고 해서 커버리지가 넓은 것은 아닙니다.
  • 모호한 스토리를 모델에 입력합니다. 입력이 부실하면 출력도 부실합니다.
  • 엣지 케이스와 비기능 검증을 빠뜨립니다. 연구에 따르면 모델은 이런 항목을 놓치는 경향이 있습니다.
  • 프롬프트에 개인 데이터를 넣습니다. 가상의 값을 사용하고 데이터 정책을 따르십시오.
  • 인수 기준과의 연결을 생략합니다. 연결이 없으면 무엇이 커버되는지 보여줄 수 없습니다.

소프트웨어가 도움이 되는 방식

스프레드시트나 테스트 관리 도구에서 기준, 생성된 케이스, 검토 상태를 나란히 관리할 수 있습니다. 각 케이스를 수락, 재작성 또는 거부로 표시하고 수치를 기록하면, 몇 번의 스프린트 후 자신의 거부율을 파악할 수 있습니다. 코드 리뷰 도구나 공유 문서를 사용하면 테스터와 제품 책임자가 함께 검토하기 좋습니다. AI 어시스턴트를 사용한다면 프롬프트를 직접 통제하고 전체 출력을 확인할 수 있는 도구를 선택하십시오. 브라우저 수준의 케이스라면 쉬운 언어로 작성된 end-to-end testing 도구로 승인된 단계를 실행할 수 있습니다. 전사에 적용하기 전에 한 팀에서 시범 운영해 보십시오.

다음 단계

완료된 사용자 스토리 하나를 골라 AI 도구로 테스트 케이스를 생성하고, 위의 체크리스트에 따라 초안을 점검하십시오. 제거, 재작성, 추가한 항목을 세어 보고, 그 수치를 바탕으로 팀에서 사용자 스토리로부터 테스트 케이스 생성을 AI에 어느 정도까지 맡길지 결정하십시오.

Entities in this article

Generative AI AI hallucination Human in the loop End-to-end testing

Related articles

RSS