M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

자연어 테스트 자동화란? 쉽게 살펴보는 설명

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

자연어 테스트 자동화는 테스터가 일반 영어로 단계를 작성하면 AI가 브라우저에서 이를 실행하는 방식입니다. 작동 원리, 한계, 그리고 도입 적합성을 판단하는 방법을 확인해 보십시오.

Automatically translated with AI from the original post. Read the English original

자연어 테스트 자동화는 일상적인 영어로 테스트를 작성하면 AI 모델이 실제 브라우저에서 이를 수행한다는 뜻입니다. 선택자로 가득 찬 스크립트 대신 "Log In 버튼 클릭"이나 "주문 합계가 49.00으로 표시되는지 확인"과 같이 작성합니다. 이 설명은 이 용어를 들어 보았고 그것이 무엇인지, 어떻게 작동하는지, 그리고 어디에서 한계에 부딪히는지 알고 싶은 QA 리드와 테스터를 위한 것입니다. 이 개념을 단계별로 살펴보고, 도구 개발사가 직접 밝힌 한계를 확인하며, 팀에 적합한지 판단하는 간단한 방법을 알아봅니다.

핵심 포인트

  • 자연어 테스트 자동화는 테스트 단계를 일반 영어로 기술하면, 테스트 실행 시 AI 모델이 이를 브라우저 동작으로 변환하는 방식입니다.
  • 손으로 작성한 선택자와 대기 구문을 "Log In 버튼 클릭"과 같은 지시문으로 대체하므로, 코딩을 하지 않는 테스터도 테스트를 작성하고 읽을 수 있습니다.
  • 공급업체가 문서로 밝힌 한계가 있습니다. 범위가 넓거나 복잡한 지시문일수록 실패가 잦으며, 단일 단계 지시문이 가장 안정적입니다.
  • 범용 웹 작업용으로 만들어진 AI 도구는 실제 앱을 검사하지 않고 결과를 임의로 만들어 낼 수 있으므로, 생성된 모든 단계에 대한 검토와 명확한 통과 또는 실패 기준이 필요합니다.
  • 이를 엔드 투 엔드 테스트를 더 빠르게 작성하는 방법으로 보아야 하며, 테스트 설계, 테스트 데이터, 올바른 환경을 대신하는 수단으로 보아서는 안 됩니다.

자연어 테스트 자동화의 의미

기존 방식의 사용자 인터페이스 자동화 테스트는 코드로 작성됩니다. 개발자나 자동화 엔지니어가 단계를 작성하고, 페이지의 각 요소를 ID나 CSS 선택자 등으로 찾는 방법을 도구에 알려 줍니다. 테스트는 매번 같은 단계를 실행합니다. 페이지가 바뀌면 선택자가 더 이상 일치하지 않을 수 있고, 그러면 테스트가 실패합니다.

이 방식에서 테스터는 대신 의도를 작성합니다. Cypress 팀은 cy.prompt 명령을 일상 언어로 테스트를 기술하는 방법으로 설명하며, 이는 테스트 파일 안에 텍스트 문자열로 작성됩니다. Cypress 블로그의 글에 따르면, 생성된 단계는 검사하고 디버그할 수 있으며, 이후 저장할 수 있는 정적 테스트 코드로 추출(eject)할 수 있습니다.

기반 기술은 생성형 AI입니다. 모델이 텍스트와 페이지를 읽고 무엇을 할지 결정합니다. 대부분의 도구에서 이는 대규모 텍스트로 학습된 AI 모델인 대규모 언어 모델입니다. 일부 공급업체는 질문에 답하는 데 그치지 않고 동작을 수행하기 때문에, 이런 소프트웨어를 AI 에이전트라고 부르기도 합니다. 목표는 어느 경우든 같습니다. 제품을 잘 아는 사람이 프로그래밍 언어를 배우지 않고도 테스트를 작성하고 읽을 수 있게 하는 것입니다. 그래서 이 방식을 코드 없는 테스트로 소개하기도 합니다.

소프트웨어 테스트 팀에게 이 방식은 테스트 프로세스가 아니라 테스트 작성 방식을 바꿉니다. 테스트 설계, 테스트 데이터, 테스트 실행은 그대로 유지되며, 어떤 테스트 케이스를 다룰지는 여전히 사람이 결정합니다.

기존 테스트 자동화에서는 엔지니어가 모든 흐름마다 테스트 스크립트를 작성하고 관리합니다. 반면 AI 도구는 자연어 처리를 사용해 각 문장을 읽습니다. 일부 공급업체는 한걸음 더 나아가 자사 도구를 에이전트형(agentic)이라고 부릅니다. 홍보 목적의 공급업체 가이드인 Autosana는 그 차이를 이렇게 정의합니다. 에이전트형 도구는 평이한 영어로 된 목표를 해석하고, 실시간 페이지를 탐색하며, 실행 중에 행동을 조정합니다. 또한 코드 없이 사용하는 것(codeless)과 에이전트형인 것은 같지 않다고 설명합니다. 같은 가이드는 많은 제품이 스크립트 편집기에 자동 완성 기능만 추가해 놓고 AI 기반 테스트라고 주장한다고 경고합니다. 따라서 이런 명칭은 신중하게 다루고, 합격 또는 불합격을 판단하는 규칙은 직접 통제할 수 있도록 유지하십시오.

서면 지시 기반 테스트의 실행 방식

세부 사항은 도구마다 다르지만 흐름은 대체로 비슷합니다. BrowserStack은 Selenium용 베타 기능인 "NL Test Automation Agent" for Selenium을 문서화하고 있으며, 해당 페이지에서 전체 흐름을 명확하게 보여 줍니다.

  1. 짧은 지시문을 작성합니다. 각 명령은 선택자나 코드가 아니라 영어 문장 하나입니다. 페이지에서는 "Click the Submit button"처럼 동작을 나타내는 동사로 시작하라고 안내합니다.
  2. AI가 실행 시점에 지시문을 해석합니다. 자동화 단계는 테스트가 실행되는 동안 생성되므로 선택자나 대기 구문을 직접 작성할 필요가 없습니다.
  3. 도구가 브라우저에서 동작을 수행합니다. 페이지에는 클릭, 입력, 검색, 마우스 오버, 스크롤 같은 명령 유형이 나열되어 있습니다.
  4. 도구가 결과를 보고합니다. 성공한 실행은 성공 로그를, 실패한 실행은 사유가 포함된 오류 로그를 보여 줍니다.

Playwright가 모범 사례에서 권장하는 방식과 비교해 보십시오. 사용자가 보고 수행하는 것을 테스트하고, 페이지가 바뀌면 깨지기 쉬운 XPath나 CSS 선택자 대신 역할, 텍스트, 테스트 ID 기반 로케이터를 사용하라고 권장합니다. 자연어 테스트는 이 아이디어를 한 단계 더 밀고 나갑니다. 테스터는 "the Log In button"처럼 사용자가 보게 될 대상을 이름으로 지정하고, 도구가 그것을 찾습니다.

자연어 테스트가 도움이 되는 경우

이 방식은 일부 작업에 다른 작업보다 더 잘 맞습니다.

  • 스모크 점검과 일반적인 사용자 경로. 로그인, 검색, 장바구니 담기, 결제 같은 흐름입니다. 가장 중요한 엔드 투 엔드 테스트 흐름이며, 문장 하나로 설명하기 쉽습니다.
  • 코딩하지 않는 테스터가 있는 팀. 업무 프로세스를 잘 아는 테스터라면 테스트를 작성하고 읽을 수 있습니다.
  • 테스트 생성. 일부 도구는 짧은 설명으로 테스트를 생성할 수 있습니다. 그래도 테스트 설계와 커버리지는 사람이 검토해야 합니다.

성능 테스트처럼 정확한 수치, 복잡한 데이터 설정, 세밀한 타이밍 제어가 필요한 검증에는 도움이 덜 됩니다. 계산 로직에 대한 단위 테스트는 브라우저나 AI 모델이 필요하지 않으며, 탐색적 테스트에는 여전히 호기심 많은 사람이 필요합니다.

공급업체가 인정하는 한계

정직한 도구 제작사는 한계를 명시합니다. 어떤 제품을 평가하든 이를 점검표로 활용하십시오.

  • 복잡한 지시는 더 자주 실패합니다. BrowserStack 페이지에 따르면 복잡하거나 지나치게 광범위한 목표는 UNSUPPORTED_OBJECTIVE 오류로 실패할 수 있으며, 명령이 복잡해질수록 신뢰도가 떨어지고, 단일 단계 지시가 가장 정확합니다. 긴 작업은 짧은 단계로 나누십시오.
  • 결과는 달라질 수 있습니다. AI 모델은 실행 시점마다 지시를 해석하므로, 모호한 문장은 실행할 때마다 다른 동작으로 이어질 수 있습니다. 각 단계를 짧고 구체적으로 유지하십시오.
  • 기능이 베타 단계일 수 있습니다. 같은 페이지에서 이 기능을 베타로 표기하고, 지원 환경은 바뀔 수 있다고 밝히고 있습니다.
  • 조작된 결과가 위험 요소입니다. Cypress 글은 많은 AI 브라우저 도구가 테스트가 아닌 일반 웹 작업을 위해 만들어졌다고 경고합니다. 실제 앱을 점검하지 않고 환각(hallucination) 출력을 만들 수 있으며, 디버깅, 단언(assertion), 테스트 수명 주기 지원이 부족한 경우도 많습니다.

테스트는 짧게 유지하고, AI가 생성한 내용을 검토하며, 모든 단계에 대해 명확한 합격 또는 불합격 규칙을 요구하십시오.

실패, 유지 관리와 CI

유지보수는 평이한 언어로 작성한 테스트의 가치가 드러나는 지점이므로, 각 도구가 변경을 어떻게 처리하는지 확인해야 합니다. Cypress의 AI 테스트 생성 가이드는 한 가지 설계를 보여 줍니다. 생성된 코드를 캐시하며, 이 캐시는 CI를 포함한 여러 머신과 환경에서 공유됩니다. 따라서 프롬프트나 페이지가 바뀌어 캐시가 무효화되지 않는 한, 테스트를 다시 실행해도 AI를 다시 호출하지 않습니다. 실행 사이에 선택자나 텍스트가 바뀌면 해당 단계의 코드를 다시 생성하고, 로그에 그 단계를 자가 치유(self-healed)됨으로 표시합니다. 이 가이드는 매 실행마다 치유가 일어나면 AI 호출이 늘고 실행 속도가 느려진다고 경고하며, 화면에 보이는 안정적인 텍스트로 요소를 지정할 것을 권장합니다. 또한 생성된 코드를 볼 수 있고, 각 명령을 프롬프트 단계와 연결하는 주석과 함께 프롬프트 대신 코드를 저장할 수도 있습니다.

Autosana 가이드는 실제 사용자 흐름을 대상으로 2주간 개념 증명(PoC)을 진행할 것을 제안합니다. 여기에는 이전에 깨졌던 흐름도 포함하며, 에이전트가 무엇을 했는지 점검하기 위해 스크린샷과 세션 리플레이를 검토합니다. 이 가이드는 측정된 실패율을 제시하지 않으므로, 자체 파일럿을 실행해 보아야 합니다.

QA 엔지니어를 대체할 수 있을까요? 이 자료만으로는 그렇다고 보기 어렵습니다. 무엇을 테스트할지 계획하고, 데이터를 준비하고, 결과가 올바른지 판단하는 일은 여전히 사람이 해야 합니다.

도구를 선택하기 전에 던져야 할 질문

벤더 미팅이나 파일럿에서 이 질문들을 활용하세요. 어떤 제품에도 적용할 수 있습니다.

  1. 모델이 정확히 무엇을 보나요? 실제 페이지를 검사하나요, 아니면 지시문의 텍스트를 보고 추측하나요?
  2. 수행한 작업을 읽고 내보낼 수 있나요? 생성된 각 단계의 로그가 필요하며, 가능하다면 버전 관리에 보관할 수 있는 고정 스크립트가 있으면 좋습니다.
  3. 통과와 실패를 어떻게 판단하나요? 모델의 자체 판단만이 아니라, 사용자가 직접 작성하는 명시적 검사가 있는지 확인하세요.
  4. 테스트는 어디에서 실행되며, 누가 데이터를 볼 수 있나요? 테스트 계정과 스크린샷에는 실제 정보가 포함될 수 있습니다.
  5. 실패 보고서에는 무엇이 담기나요? 스크린샷, 로그, 실패한 단계가 있으면 디버깅 시간을 몇 시간씩 줄일 수 있습니다.
  6. 현재 테스트 스위트와 맞나요? 자동화 프레임워크, 파이프라인, 수동 테스트 프로세스를 확인하세요.

예시: 로그인 테스트 하나를 세 가지 방식으로

아래 수치는 가상의 값입니다.

한 팀이 로그인 테스트를 작성하는 세 가지 방식을 비교합니다.

  1. 선택자가 있는 코드. 엔지니어가 약 12줄을 작성하며, 30분이 걸립니다. 개발자가 버튼의 ID를 바꾸면 테스트가 실패하고 수정이 필요합니다.
  2. 자연어. 테스터가 네 줄을 작성합니다. 로그인 페이지를 열고, 사용자 이름을 입력하고, 비밀번호를 입력한 뒤, "로그인"을 클릭하고 대시보드 제목이 나타나는지 확인합니다. 5분이 걸립니다. 테스터는 생성된 단계를 읽고 일치하는지 확인하며, AI는 이를 실행하는 데만 사용합니다.
  3. 자연어 작성 후 내보내기. 팀은 탐색용으로 평이한 영문 버전을 유지하고, Cypress 문서에서 설명하는 방식처럼 야간 회귀 테스트 실행을 위해 고정 스크립트를 내보냅니다.

한 달 동안 실패 두 건은 실제 버그에서 발생했고, 한 건은 모호한 단계 때문이었습니다. "버튼을 클릭"이라는 단계가 잘못된 버튼과 일치했습니다. 팀은 이를 "로그인 버튼을 클릭"으로 고쳐 썼습니다. 선택자의 정밀함만큼이나 문장의 정밀함도 중요합니다.

흔한 실수

  • 길고 모호한 지시문 작성. 단계마다 하나의 의도만 담고, 요소의 이름을 명확히 적으세요.
  • AI가 생성한 단계를 읽지 않고 신뢰하기. 모든 단계를 최소 한 번은 읽고, 로그를 보관하세요.
  • 예상 결과 생략하기. 테스트에는 제목이나 합계처럼 명확한 검사가 필요합니다. "제대로 작동하는지 확인"은 검사가 아닙니다.
  • 모든 것에 사용하기. 단위 테스트와 통합 테스트는 개발자와 가까운 코드에 두어야 합니다.
  • 파일럿 없이 도구 도입하기. 먼저 실제 테스트 10개를 실행하고 실패 원인을 비교하세요.

소프트웨어가 도움이 되는 방식

AI 테스트 도구에는 여러 유형이 있습니다. 일부는 위에서 언급한 Cypress와 BrowserStack 기능처럼 코드 기반 프레임워크에 평이한 영어 명령을 추가합니다. 다른 도구는 QA 팀 전체를 위한 독립형 플랫폼입니다. Playwright 같은 오픈소스 프레임워크는 코드를 선호하는 팀에게 여전히 좋은 선택입니다.

Genta by Cognillo는 별도 플랫폼의 한 예입니다. 공급업체에 따르면, 테스터가 애플리케이션이 무엇을 해야 하는지 일상적인 언어로 설명하면 Genta가 클라우드 가상 머신의 브라우저에서 테스트를 실행하고, 스크린샷과 로그와 함께 통과 또는 실패 결과를 보고합니다. 공급업체는 이 도구가 QA 리드, SDET 및 자동화 엔지니어를 겨냥한다고 밝히고 있습니다. 이는 공급업체의 주장입니다. 도입을 결정하기 전에 파일럿에서 다른 옵션과 비교해 보시기 바랍니다.

공개: Cognillo는 M365.FM의 후원사입니다.

다음 단계

로그인이나 검색처럼 안정적인 사용자 경로를 하나 고르고, 이를 쉬운 영어로 다섯 단계로 작성합니다. 그런 다음 자연어 테스트 자동화 도구와 현재 사용 중인 테스트 프레임워크에서 각각 실행해 작업량, 실패 건수, 로그의 품질을 비교합니다.

Entities in this article

End-to-end testing Generative AI AI agent Genta Automation

Related articles

RSS