pile·
아키텍처·당근당근 테크블로그·

실험을 더 편하게 설계할 수 있게: 당근 실험플랫폼 이야기

당근이 사내 A/B 실험 플랫폼을 대규모로 개선한 과정을 다룬다. YAML이나 GitHub PR 없이도 도메인 담당자가 UI에서 직접 지표를 정의할 수 있게 하고, 상호배제 그룹으로 실험 충돌을 방지하며, LLM이 실험을 자동 생성하는 Experiment MCP까지 도입했다. 결과적으로 누적 실험 수가 350개에서 4,600개로, 월간 진행 실험이 20개에서 290개(약 14배)로 폭발적으로 늘었다.

핵심 포인트
  • UI 기반 지표 정의: YAML 문법이나 GitHub PR 흐름을 몰라도 도메인 담당자가 직접 지표를 만들 수 있게 해 등록 시간이 1~2시간에서 몇 분으로 단축됐다.
  • 상호배제 그룹 도입: 같은 화면에서 여러 실험이 충돌하지 않도록 슬롯 기반 분리 방식을 구축했다.
  • Experiment MCP 도입: LLM이 실험 초안을 자동 생성하는 MCP를 연결해 반복 작업을 AI에 위임하고 사람은 가설 설계에 집중할 수 있는 구조로 전환했다.
  • 플랫폼 확장: 누적 실험 350→4,600개(13배), 실험 오너 80→280명(3.5배), 월간 진행 실험 20→290개(14배)를 달성했다.
상세 정리
  • 배경: 기존 실험 플랫폼은 지표 정의에 YAML 문법과 GitHub PR 흐름을 알아야 했다. 도메인을 가장 잘 아는 기획자·분석가가 직접 실험을 설계하기 어려운 구조였다.
  • UI 기반 전환: 코드 없이 UI에서 지표를 정의·등록할 수 있게 개선했다. 지표 등록 프로세스가 1~2시간에서 몇 분으로 단축됐고, 실험 오너가 80명에서 280명으로 늘었다.
  • 상호배제 그룹: 동일 사용자가 같은 화면에서 여러 실험에 동시에 배정되는 간섭 문제를 슬롯 기반 분리로 해결했다.
  • Experiment MCP: AI(LLM)가 실험 초안을 자동 생성하도록 MCP를 연결했다. 반복적인 실험 설정 작업은 AI가 처리하고, 사람은 핵심 가설 설계와 판단에만 집중하는 구조다.
  • 성과 수치: 플랫폼 개선 이후 누적 실험 350→4,600건, 월간 진행 실험 20→290건으로 대폭 확장됐다.
왜 읽나A/B 실험 플랫폼을 운영하거나 내부 도구의 셀프서비스화·LLM 통합을 검토하는 데이터/플랫폼 엔지니어에게 실전 설계 사례로 유용하다.
당근
당근 테크블로그 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 아키텍처·우아한형제들우아한형제들·

    BFF 서버에 SSE를 도입한 이유: 전시 서버의 통신 구조 재설계

    배달의민족 가게목록은 광고배너·큐레이션·가게리스트 등 한 화면에 최대 12개 구좌가 들어가는 통합 전시 지면으로 커졌다. 클라이언트가 구좌마다 담당 서버를 직접 호출하던 구조를 BFF 한 곳으로 모았더니 이번엔 응답이 1.7MB로 비대해지고 가장 느린 구좌(300ms)에 전체가 묶이는 하향 평준화가 발생했다. SSE로 완료된 영역부터 흘려보내 렌더링 시작 시점을 300ms에서 15ms로 당긴 과정을 다룬다.

    #streaming#nginx#react-query+2
  2. 아키텍처·dropbox-techDropbox Tech·

    Dropbox의 통합 콘텐츠 처리 플랫폼 Riviera, AI 시대로의 진화

    Dropbox가 파일 미리보기 생성용 내부 서비스로 출발한 콘텐츠 처리 플랫폼 Riviera가 약 10년에 걸쳐 Search·Replay·Sign·Dash가 공유하는 플랫폼으로, 나아가 AI 시대의 문서 처리 인프라로 진화한 과정을 다룬다. 미리보기를 '재사용 가능한 변환들의 조합'으로 재정의한 설계가 확장의 핵심이었고, 지금은 100개 넘는 변환 능력으로 초당 수십만 건을 처리한다. 최근엔 공개 API와 MCP로 외부 개발자에게도 열렸다.

  3. 아키텍처·github-engGitHub Engineering·

    AI 시대에 달라진 '예스'의 비용

    GitHub Engineering 에서 AI 코드 생성 도구가 보편화되면서 소프트웨어 엔지니어링 경제학이 어떻게 달라졌는지를 다룬다. 코드를 작성하는 비용은 낮아졌지만 그 코드를 소유하고 유지보수하는 비용은 그대로라는 점을 핵심 논지로, 엔지니어링 팀의 의사결정 방식도 달라져야 한다고 주장한다.

    #engineering-process#ai-code-generation#code-ownership+1