당근이 사내 A/B 실험 플랫폼을 대규모로 개선한 과정을 다룬다. YAML이나 GitHub PR 없이도 도메인 담당자가 UI에서 직접 지표를 정의할 수 있게 하고, 상호배제 그룹으로 실험 충돌을 방지하며, LLM이 실험을 자동 생성하는 Experiment MCP까지 도입했다. 결과적으로 누적 실험 수가 350개에서 4,600개로, 월간 진행 실험이 20개에서 290개(약 14배)로 폭발적으로 늘었다.
핵심 포인트- UI 기반 지표 정의: YAML 문법이나 GitHub PR 흐름을 몰라도 도메인 담당자가 직접 지표를 만들 수 있게 해 등록 시간이 1~2시간에서 몇 분으로 단축됐다.
- 상호배제 그룹 도입: 같은 화면에서 여러 실험이 충돌하지 않도록 슬롯 기반 분리 방식을 구축했다.
- Experiment MCP 도입: LLM이 실험 초안을 자동 생성하는 MCP를 연결해 반복 작업을 AI에 위임하고 사람은 가설 설계에 집중할 수 있는 구조로 전환했다.
- 플랫폼 확장: 누적 실험 350→4,600개(13배), 실험 오너 80→280명(3.5배), 월간 진행 실험 20→290개(14배)를 달성했다.
상세 정리- 배경: 기존 실험 플랫폼은 지표 정의에 YAML 문법과 GitHub PR 흐름을 알아야 했다. 도메인을 가장 잘 아는 기획자·분석가가 직접 실험을 설계하기 어려운 구조였다.
- UI 기반 전환: 코드 없이 UI에서 지표를 정의·등록할 수 있게 개선했다. 지표 등록 프로세스가 1~2시간에서 몇 분으로 단축됐고, 실험 오너가 80명에서 280명으로 늘었다.
- 상호배제 그룹: 동일 사용자가 같은 화면에서 여러 실험에 동시에 배정되는 간섭 문제를 슬롯 기반 분리로 해결했다.
- Experiment MCP: AI(LLM)가 실험 초안을 자동 생성하도록 MCP를 연결했다. 반복적인 실험 설정 작업은 AI가 처리하고, 사람은 핵심 가설 설계와 판단에만 집중하는 구조다.
- 성과 수치: 플랫폼 개선 이후 누적 실험 350→4,600건, 월간 진행 실험 20→290건으로 대폭 확장됐다.
왜 읽나A/B 실험 플랫폼을 운영하거나 내부 도구의 셀프서비스화·LLM 통합을 검토하는 데이터/플랫폼 엔지니어에게 실전 설계 사례로 유용하다.