개발, 스테이징, 프로덕션: 각 환경에서 자동화된 테스트를 안전하게 실행하기
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
스테이징과 프로덕션에서 자동화된 테스트를 안전하게 실행하는 방법입니다. 어떤 테스트를 어디에서 실행할지, 기본 URL과 시크릿을 어떻게 구성할지, 실제 고객 데이터를 어떻게 보호할지 설명합니다.
Automatically translated with AI from the original post. Read the English original
자동화된 테스트를 스테이징과 프로덕션에서 안전하게 실행하려면 각 환경에 서로 다른 역할을 부여해야 합니다. 스테이징에서는 전체 회귀 테스트 세트를, 프로덕션에서는 작고 읽기 전용인 세트만 실행합니다. 이 가이드는 실제 고객이나 실제 데이터를 위험에 빠뜨리지 않으면서 더 자주 테스트해 달라는 요청을 받은 QA 리더를 위한 것입니다. 각 환경의 목적, 환경별로 실행할 테스트, URL과 시크릿 구성 방법, 테스트 데이터 처리 방법, 설정해야 할 안전장치를 살펴봅니다. 가상의 수치를 사용한 실제 사례는 소규모 팀이 그대로 따라 할 수 있는 분할 방식을 보여 줍니다.
핵심 포인트
- 각 환경에는 고유한 역할이 있습니다. 개발 환경은 빠른 피드백을 제공하고, 스테이징은 릴리스 전 최종 점검 단계이며, 프로덕션은 실제 사용자가 의존하는 실시간 시스템입니다.
- 파괴적인 테스트를 포함한 전체 회귀 테스트 세트는 스테이징에서 실행하고, 프로덕션은 작은 읽기 전용 스모크 테스트 세트와 예약된 모니터링으로 제한하십시오.
- 모든 환경에 고유한 기본 URL, 제한 시간, 재시도 정책을 부여하고, 자격 증명은 테스트 코드와 리포지토리 밖에 두십시오.
- 스테이징에서는 합성 데이터 또는 마스킹된 데이터를 사용하고, 프로덕션에서는 청구, 분석, 고객 보고서에 포함되지 않는 전용 테스트 계정을 사용하십시오.
- 모니터링, 롤백 계획, 읽기 전용 작업, 기능 플래그 같은 안전장치를 먼저 구축하고, 프로덕션을 결코 첫 번째 방어선으로 취급하지 마십시오.
각 환경의 목적
Flagsmith의 testing environment best practices 가이드는 네 가지 환경을 설명합니다.
- 개발 환경은 현실성보다 빠른 피드백을 우선합니다. 개발자는 로컬 또는 공유 샌드박스에서 작업합니다.
- 테스트 또는 QA 환경은 빌드를 대상으로 기능, 통합, 회귀 테스트를 수행하는 통제된 공간입니다.
- 스테이징 환경은 가능한 한 프로덕션과 동일하게 구성되며, 릴리스 전 최종 점검 역할을 합니다.
- 프로덕션 환경은 사용자가 실제로 상호 작용하는 실시간 환경입니다.
이 환경들은 application lifecycle management에서 릴리스가 거치는 경로를 이룹니다. 코드는 한 환경에서 다음 환경으로 이동하며, 각 단계는 문제를 저렴하게 발견할 기회가 됩니다.
같은 가이드는 자동화와 관련해 중요한 두 가지 점을 제시합니다. 첫째, 테스트 환경이 프로덕션과 가까울수록 그 결과를 더 신뢰할 수 있으며, 이 일치성은 애플리케이션 코드뿐 아니라 운영 체제, 종속성 버전, 네트워크 구성까지 포함해야 합니다. 둘째, 테스트 환경은 프로덕션이나 다른 테스트 환경과 데이터베이스, 자격 증명, 인프라를 공유하지 않아야 합니다. 잘못된 데이터베이스에 접근하는 테스트는 테스트 실행을 장애로 바꾸는 가장 빠른 방법입니다.
DevOps 파이프라인에서는 배포마다 서로 다른 자동화 테스트 세트를 트리거할 수 있습니다. 병합 후 테스트 환경으로의 배포에서는 빠른 점검을 실행합니다. 다음 단계인 스테이징 배포에서는 전체 세트를 실행하고, 릴리스는 그 결과를 기다립니다. 각 단계의 자동화 테스트는 빠른 피드백을 제공하며, 점검이 통과했을 때에만 다음 단계로 넘어가도록 자동화합니다. UI 테스트에 Selenium, Playwright 또는 다른 도구를 사용하더라도 이 방식은 동일하게 적용됩니다.
스테이징과 프로덕션에서 자동화 테스트를 실행하는 방법
TestDino 글 Playwright Staging vs Production: What to Run Where은 무엇을 어디에서 실행할지 명확하게 구분하고 있으며, 이 구분은 어떤 도구에나 적용할 수 있습니다.
스테이징에서는 전체 회귀 테스트 스위트를 실행합니다. 여기에는 계정을 삭제하거나 장바구니를 비우는 파괴적 테스트, 성능 및 부하 테스트, 시각적 회귀 테스트, 데이터베이스 마이그레이션 테스트가 포함됩니다. 서드파티 서비스에는 샌드박스 또는 테스트 모드 자격 증명을 사용합니다. 데이터를 기록하거나 예외 상황을 시뮬레이션하는 모든 테스트는 스테이징에서 실행해야 합니다.
프로덕션에서는 핵심 경로를 대상으로 한 소규모 스모크 스위트를 실행합니다. 글에서는 대략 5~10개 흐름을 권장합니다. 여기에 대략 5~15분 간격으로 스케줄에 따라 실행되는 합성 모니터를 추가합니다. 읽기 전용 API 상태 확인과 이와 유사한 가벼운 점검도 추가합니다. 이 글의 원칙은 엄격합니다. 실서비스에서 실행하는 모든 테스트는 읽기 전용이거나 완전히 격리된 테스트 계정을 사용해야 합니다.
이러한 구분은 엔드 투 엔드 테스트의 기본 원리와 맞아떨어집니다. 브라우저 기반 사용자 흐름은 느리고 간헐적으로 실패하기도 하므로, 긴 목록은 스테이징에 두고 실서비스에서는 가장 중요한 소수의 흐름만 실행하는 것이 좋습니다. 예를 들어 smoke, destructive 같은 태그를 붙이면, 프로덕션 실행 시 파괴적 테스트 그룹을 사람이 기억해서 제외하는 대신 규칙에 따라 자동으로 제외할 수 있습니다.
비밀 정보를 노출하지 않고 환경별 설정하기
각 환경을 별도의 구성으로 다루십시오. TestDino는 Playwright에서 환경마다 별도의 프로젝트를 정의하고, 각 프로젝트에 고유한 기본 URL, 제한 시간, 재시도 횟수를 설정하도록 권장합니다. 예시에서는 스테이징은 재시도를 허용하고 프로덕션은 허용하지 않으며, 프로덕션은 실패한 경우에만 트레이스와 비디오를 기록합니다. 이 방식은 다른 도구에서도 적용할 수 있습니다.
구성 및 비밀 정보에 대한 규칙은 다음과 같습니다.
- 자격 증명을 구성 파일에 두지 마십시오. 환경별 값은 버전 관리에서 제외된 환경 파일에서 불러오고, 변수 이름만 나열한 자리 표시자 파일만 커밋하십시오.
- 파이프라인에서는 CI 플랫폼의 비밀 저장소를 사용하십시오. 이 글은 파일 대신 CI 환경 설정에서 비밀 정보를 가져오도록 권장합니다.
- 실행 전에 변수를 검증하십시오. 기본 URL이 누락되면 원인을 알기 어려운 오류가 발생하므로, 첫 테스트가 시작되기 전에 필수 변수가 모두 설정되었는지 확인하십시오.
- 프로덕션 범위를 구성에 명시하십시오. 누군가 잊어버릴 수 있는 명령줄 플래그에만 의존하지 말고, 프로덕션 테스트 필터링을 구성 파일에 정의하십시오.
- 환경 정의를 버전으로 관리하십시오. Flagsmith는 환경 구성을 버전 관리로 관리할 것을 권장합니다. 추적되지 않은 변경이 구성 불일치와 원인을 알 수 없는 실패로 이어지는 것을 막기 위해서입니다.
환경마다 별도의 계정을 사용하고, 각 계정에는 테스트에 필요한 최소한의 권한만 부여하십시오.
테스트 데이터: 스테이징은 합성 데이터, 프로덕션은 격리된 데이터
테스트 데이터는 안전한 테스트와 위험한 테스트가 갈라지는 두 번째 지점입니다.
- 스테이징: 합성 데이터, 익명화된 데이터 또는 시드 데이터를 사용하십시오. Flagsmith는 합성 데이터로 실제 사용 시나리오를 재현하고, 복사해 온 프로덕션 데이터는 마스킹이나 익명화를 거치며, 테스트 데이터를 오래되지 않도록 일정에 따라 새로 고칠 것을 권장합니다.
- 프로덕션: 실제 민감한 고객 데이터가 존재합니다. TestDino는 청구 및 분석에서 제외되고 고객에게 보이는 보고서에는 절대 나타나지 않는 전용 테스트 계정을 사용하도록 권장합니다. 애플리케이션이 규제 대상 데이터를 처리한다면 합성 데이터를 담은 전용 테스트 테넌트를 사용하도록 제안합니다.
- 실행마다 고유한 데이터: 타임스탬프 등을 활용해 실행할 때마다 고유한 값을 생성하고, 화면을 통하지 않고 API 호출로 상태를 설정하십시오.
- 정리: 테스트가 레코드를 생성해야 한다면, 테스트 종료 후 API 호출로 해당 레코드를 삭제하십시오.
BugBug의 프로덕션 테스트 가이드는 되돌릴 수 없는 피해에 대한 경고를 추가합니다. 하지 말아야 할 사례로는 실제 카드를 사용한 결제 예외 상황 테스트, 백업 없이 진행하는 데이터 마이그레이션, 실제 사용자를 대상으로 한 권한 경계 테스트 등이 제시됩니다.
실서비스에서 테스트하기 전에 갖춰야 할 가드레일
BugBug의 핵심 원칙은 가드레일을 먼저 갖추어야만 프로덕션 테스트가 제대로 작동한다는 것입니다. 목록은 짧고 실용적입니다.
- 모니터링: 테스트 자체가 일으키는 장애를 포함해, 실패를 신속하게 발견할 수 있도록 모니터링을 구축하십시오.
- 가능한 경우 읽기 전용 작업을 사용합니다. 예를 들어 양식을 제출하는 대신 페이지를 확인합니다. 주문 결제처럼 최종 실행 작업 직전에서 멈춥니다.
- 기능 플래그로 변경 사항을 소규모 그룹에만 공개하고, 대상 범위를 단계적으로 넓히며, 재배포 없이 끌 수 있습니다. 이 가이드는 잊힌 플래그가 기술 부채로 바뀔 수 있다는 점도 경고합니다.
- 롤백 계획은 테스트 전에 정해 둡니다. 롤백은 영웅적인 조치가 아니라 평범하고 반복 가능한 절차여야 하기 때문입니다.
- 진단이 아니라 감지입니다. 프로덕션 테스트로 문제를 발견하되, 근본 원인은 다른 환경에서 찾습니다.
이 가이드는 한계를 분명히 밝힙니다. 프로덕션은 최초 방어선이 아니라 최종 피드백 루프입니다. 그리고 프로덕션 테스트가 QA를 생략할 핑계가 되어서는 안 됩니다.
예시: 120개 테스트 스위트의 분할
아래 수치는 가상의 예시입니다.
한 팀에는 120개의 브라우저 테스트와 스테이징 환경 하나가 있습니다. 현재는 릴리스 전에 전체 스위트를 스테이징에서 실행하고, 릴리스가 라이브로 나간 뒤에는 아무것도 실행하지 않습니다.
QA 리드는 세 개의 그룹을 구성합니다. 파괴적 테스트로 표시된 18개를 포함한 120개 테스트 전부는 스테이징에 그대로 둡니다. 로그인, 검색, 청구서 열기, 보고서 다운로드를 다루는 읽기 전용 스모크 그룹 8개 테스트는 각 릴리스 후 라이브 시스템에서 실행하고, 이후 15분마다 실행합니다. 이때 청구 기능에 접근할 수 없는 전용 테스트 계정을 사용합니다. 세 번째 그룹은 API 상태 점검 4개로, 5분마다 실행합니다.
2주 후 새벽 2시에 스모크 그룹이 실패합니다. 테스트 계정의 비밀번호가 만료되었기 때문입니다. 경고는 당직 엔지니어에게 전달되었고, 엔지니어는 로그를 보고 원인이 애플리케이션이 아니라 계정에 있다는 것을 확인합니다. 팀은 비밀번호를 교체 날짜와 함께 CI 비밀 저장소로 옮깁니다. 고객 영향은 없었고, 팀은 프로덕션 테스트에도 담당자가 필요하다는 점을 배웠습니다.
흔한 실수
- 프로덕션에서 전체 스위트를 실행하는 것. 파괴적 테스트와 쓰기 테스트는 스테이징에 두어야 합니다.
- 환경 간에 데이터베이스나 자격 증명을 공유하는 것. 잘못된 URL 하나로 실제 데이터가 영향을 받을 수 있습니다.
- 비밀번호나 토큰을 테스트 리포지토리에 커밋하는 것. 비밀 저장소와 자리 표시자 파일을 사용합니다.
- 실제 고객 계정을 테스트 계정으로 사용하는 것. 청구 및 분석에 포함되지 않는 전용 계정을 사용합니다.
- 롤백 계획을 건너뛰는 것. 잘못된 변경을 테스트하기 전에 되돌리는 방법을 먼저 정합니다.
- 스테이징이 프로덕션과 달라지도록 방치하는 것. 다른 구성에서 통과한 테스트는 거의 의미가 없습니다.
소프트웨어가 도움이 되는 방식
먼저 CI 시스템과 테스트 프레임워크가 제공하는 기능부터 확인합니다. 환경별 프로젝트, 비밀 저장소, 예약 실행, 태그가 여기에 해당합니다. 프로덕션 점검이 실패하면 경고를 보내는 모니터링 도구를 추가합니다. 일부 테스트 플랫폼은 이러한 요소를 하나로 묶어 제공합니다. Genta by Cognillo가 그 예입니다. 공급업체에 따르면 개발, 스테이징, 프로덕션 같은 환경, 암호화된 변수, 예약 실행, 감사 로그를 지원합니다. 이는 공급업체의 설명이며 M365.FM이 검증한 내용이 아닙니다. 파일럿에서 다른 옵션과 비교하고, 각 도구가 비밀 정보를 어떻게 저장하는지, 누가 이를 읽을 수 있는지 확인하십시오.
공개: Cognillo는 M365.FM을 후원합니다.
다음 단계
환경마다 어떤 테스트를 실행해도 되는지, 어떤 계정을 사용하는지, 비밀 정보를 어디에 보관하는지 목록으로 정리합니다. 그다음 파괴적 테스트 하나를 프로덕션에서 옮기고, 이 목록을 기준으로 명확한 규칙에 따라 스테이징과 프로덕션에서 자동화 테스트를 실행합니다.