토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

토스 QA Platform 팀이 상용 TCM(Test Case Management System)의 커스터마이징 한계를 극복하기 위해 자체 QA 관리 플랫폼 '토션(Tossion)'을 개발했다. 테스트 케이스·실행 결과·근거를 한 곳에 통합하고, AI로 PR 분석·테스트 케이스 생성·회귀 테스트 자동화를 구현해 출시 속도와 품질을 동시에 확보했다.

핵심 포인트

자동화 테스트·수동 테스트·테스트 케이스 데이터가 여러 도구에 흩어져 있어 과거 이력 추적이 어려웠다.
상용 TCM은 토스의 빠른 개발 문화에 맞는 커스터마이징을 지원하지 않아 자체 개발을 선택했다.
AI 기반 PR 분석기가 릴리즈마다 400여 개의 PR을 검토해 QA 대상 영역을 자동으로 식별한다.
AI가 테스트 케이스를 자동 생성하고 다중 검증 절차로 품질을 보증한다.
실기기에서 회귀 테스트를 직접 실행하고 결과를 토션에 통합해 전체 QA 이력을 단일 플랫폼에서 관리한다.
사용자 요청을 즉시 구현할 수 있어 외부 도구의 로드맵 대기 없이 빠르게 개선된다.

상세 정리

배경: 릴리즈마다 400개 이상의 PR을 수동 검토해 QA 범위를 결정하는 과정이 비효율적이었다.
문제 진단: 자동화 테스트 결과, 수동 테스트 결과, 테스트 케이스가 별개 도구에 분산돼 연계 추적이 불가능했다.
상용 TCM 한계: 기성 도구는 토스의 워크플로우에 맞는 기능 추가·수정이 어렵고, 도구사의 로드맵에 종속된다.
토션 설계: 테스트 케이스·런 결과·근거(스크린샷·로그)를 한 행에 통합해 과거 테스트 이력을 한눈에 추적하도록 했다.
AI PR 분석기: 릴리즈 단위로 PR 전체를 AI가 분석해 변경 영향 범위를 파악하고 QA 우선순위를 자동 추출한다.
AI 테스트 케이스 생성: AI가 작성한 테스트 케이스를 다중 검증 절차로 통과시켜 신뢰도를 높였다.
회귀 테스트 자동화: 실제 기기에서 회귀 테스트를 자동 실행하고 결과를 토션에 바로 통합한다.
자가 개선: 내부 플랫폼이라 사용자 요청이 생기면 외부 로드맵 없이 즉시 구현 가능하다.

왜 읽나QA 자동화와 내부 테스트 플랫폼 구축을 고민하는 QA 엔지니어·개발팀에게 AI 기반 테스트 자동화 아키텍처의 실제 적용 사례를 제공한다.

토스 SLASH 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

이 글과 비슷한

엔터프라이즈 보안 요구사항을 충족하는 프라이빗 Amazon Bedrock AgentCore 구축하기

OpenTofu와 Argo CD로 구성하는 GitLab 기반 AWS 제어 플레인

Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례