스캐터랩이 비주얼 노벨 플랫폼 zeta labs 를 만들며 AI 에이전트를 개발 워크플로우 전반에 넣은 기록이다. 첫 커밋에서 클로즈베타까지 2개월, 누적 유저 40만 명에 도달했다. 에이전트가 코딩 속도를 올리자 병목이 기획 문서·검증·리뷰·지표로 차례차례 옮겨갔고, 그 이동을 따라가며 구조를 바꾼 과정이 본문의 골자다.
핵심 포인트- 에이전트 처리량이 늘자 병목이 코딩이 아니라 그 앞뒤 단계로 옮겨갔다
- 기획 의도가 코드에 남지 않는 문제를 AGENTS.md·architecture·design/spec 3층 문서로 풀었다
- 개발자 1명이 6~7개 에이전트 세션을 동시에 굴리는 병렬 실행 모델을 세웠다
- 사람 리뷰는 인증·결제·구조 변경에만 쓰고 나머지는 자동 리뷰와 모델 교차 검증에 맡겼다
- 배포를 주 2회로 고정해 배치 자체를 통제 그룹으로 삼아 A/B 테스트를 대체했다
상세 정리- 제품: 기존 채팅형 zeta 를 확장한 웹 플랫폼으로, AI 가 스토리·인물·배경을 생성하는 비주얼 노벨이다
- 문제 1: 왜 그렇게 구현했는지가 코드에 남지 않아 기획에서 개발로 넘어갈 때 정보가 샜다
- 해결 1: AGENTS.md 에 회사 컨벤션과 규칙을, architecture 에 시스템 영역별 설계를 두고 design 과 spec 을 분리해 기획 의도와 구현을 갈랐다
- 문제 2: 에이전트 처리량은 늘었는데 이슈를 순차로 처리해 병렬화가 막혔다
- 해결 2: 이슈 분류 → 블로커 제거 → 병렬 실행 순서로 바꿔 세션 6~7개를 동시에 관리하게 했다
- 문제 3: 10분에 짠 코드를 20분 테스트하느라 검증이 전체 속도를 제약했다
- 해결 3: CI 를 최적화해 테스트 시간을 10분 이상 줄이고, PR 마다 웹·어드민·서버 프리뷰 환경을 자동 생성했다
- 테스트 안정화: 깨진 테스트를 일괄 수정하는 작업 자체를 AI 에 위임했다
- 문제 4: 배포 속도가 사람 리뷰 속도를 넘어섰다
- 해결 4: Copilot 과 CodeRabbit 으로 1차 리뷰를 돌리고 Codex 결과를 Claude 로 교차 검증했다
- 문제 5: 분석 요청이 대기열에 쌓여 배포 속도를 못 따라갔다
- 해결 5: 분석 전담 저장소에 로그 스키마와 과거 쿼리를 문서화해 누구나 AI 에 분석을 맡길 수 있게 했고, 클로즈베타 한 달간 78건(하루 2~3건)이 처리됐다
- 문제 6: 수시 배포로 유저마다 버전이 달라 무엇이 지표를 움직였는지 인과를 못 잡았다
- 해결 6: 배포 주기를 주 2회로 고정하고 배치마다 신규 유저를 붙여, 각 배치가 통제 그룹 역할을 하게 했다
- 사업 결과: 유료 재화에 누진제를 넣은 뒤 결제자당 매출이 3.5배로 늘었다
왜 읽나코딩 에이전트를 팀에 들인 뒤 속도가 기대만큼 안 나는 조직에게, 병목이 어디로 옮겨가는지와 각 지점을 어떤 구조로 받아냈는지 보여준다.