인사할 시간도 없습니다. QA의 시간을 아껴줄 테스트 자동화 도입기 #우아콘2023 #우아한형제들

API 테스트를 구현하며 생성형 AI를 활용한 과정을 단계적으로 보여준다. 사용할 라이브러리와 필요한 기능을 정리해 프롬프트로 예시 코드를 요청하면 GPT가 바로 작성해 줘 작업의 토대가 됐다. 단순 예시뿐 아니라 구체적 문제 해결에도 도움을 받았는데, 여러 테스트가 동일 API를 불필요하게 반복 호출해 느려지던 문제를 구글링으로는 못 찾다가 GPT 추천으로 파이테스트의 픽스처 를 도입해 해결했다. 에러 디버깅 때도 GPT가 단순히 해결된 코드만 던지지 않고 기존 코드의 어떤 부분이 문제였고 어떤 단계로 해결하는지 해설 을 함께 해 줘 이해도를 높이고 작업 시간을 크게 줄였다. 생성한 테스트 코드는 픽스처로 반복 호출 횟수를 제어하고 헤더·파라미터를 세팅해 요청을 보내는 부분과, 응답이 기대대로 내려오는지 검증하는 부분으로 구성되며, 테스트 함수 하나가 하나의 테스트 케이스가 된다. 실패 케이스를 빨리 파악하도록 전체 테스트를 트리 형태로 구조화(아래는 필드 검증 함수, 위로 API 기능 단위로 묶음)해 유지보수를 쉽게 했다. 다만 API 수가 많고 한 API에도 수십 개 케이스가 나와 손으로 다 작성하기엔 노동이 컸다.

호출 코드를 편하게 작성하기 위해, 앱·서버 HTTP 통신 분석에 쓰는 프록시 툴 찰스(Charles) 의 cURL 복사 기능을 활용한다. 처음엔 cURL을 파이썬에서 바로 실행했으나 코드가 복잡하고 테스트 데이터 관리가 어려워, GPT에 "cURL을 파이썬 코드로 전환해 달라"고 요청해 원하는 형태를 얻었다. 테스트 케이스 작성에는 Copilot 을 많이 썼는데, 앞서 작성한 코드와 함수 이름만으로 원하는 코드를 자동 생성해 줬다(테스트 코드는 동일 구조·패턴 반복이 많아 자동 완성에 최적). 팁으로, 프로젝트 전체의 코딩 컨벤션을 일관되게 지키면 더 높은 퀄리티의 코드를 생성해 준다고 덧붙인다. 수치상 이득도 측정했다. 사내 자료상 Copilot 사용 그룹과 미사용 그룹의 작업 완료 시간이 두 배 이상 차이 났고, 자신의 경우 과거 10MD 이상 걸리던 작업을 2MD로 줄였으며 약 100개 테스트 케이스를 4시간(TC당 약 2.4분)에 작성했다. 유료 GPT·Copilot도 인당 월 20달러 내외라 투자 가치가 충분하다고 본다.

테스트 자동화를 더 편하게 운영하기 위해 데브옵스에서 파생된 QAOps 개념을 적용한다. 테스트가 배포 주기에 맞춰 자동 수행되도록 CI/CD 파이프라인에 통합하는 것으로, 사내 GitLab 을 활용했다. 직접 해 본 적이 없어 막막했지만 이번에도 GPT 도움으로 첫걸음을 뗐다. 루트의 gitlab-ci.yml에 스테이지·잡을 설정하고, 파이프라인 트리거 토큰을 만들어 원하는 타이밍에 트리거 API 호출·스케줄링·다른 파이프라인 연동으로 테스트를 실행한다. 트리거 토큰 세팅 뒤 개발팀 배포 파이프라인과 연동해 베타 환경에서 테스트가 자동 실행되게 구축했다. 완성도를 높이기 위해 버그 티켓 생성도 자동화(실패 케이스 로그를 수집해 지라 REST API로 티켓 생성·담당자 자동 할당)하고, 결과 리포트도 자동화(GitLab 테스트 잡이 끝나면 XML 리포트를 파싱해 슬랙 인커밍 웹훅으로 업무 채널에 전송)했다. 전체 흐름은 개발팀 배포 → 트리거 → 테스트·리포트 스테이지 → 리포트 프로젝트 트리거 → 슬랙 전송으로 요약된다. 아직 안 써 본 사람은 프로그래밍 부담 없이 생성형 AI로 작게라도 시도해 보고, 이미 활용 중인 QA들도 함께 시도하고 공유해 달라는 당부로 마친다.