개인화와 실험에 스택을 분리하는 이유

Spotify가 개인화 시스템과 A/B 실험 플랫폼을 별도 기술 스택으로 운영하는 이유를 설명한다. ML 추론에 필요한 저지연 특성 접근과 실험 평가의 통계적 요구사항이 근본적으로 다르기 때문에, 두 목적에 맞는 인프라를 분리해 각각 최적화한다.

핵심 포인트

개인화 시스템은 부스팅/랜덤 포레스트/신경망/LLM/문맥형 밴딧 등 다양한 모델과 풍부한 특성 집합에 접근하는 저지연 ML 스택이 필요하다.
A/B 테스트와 다중팔 밴딧을 같은 스택에 두면 ML 의존성이 얽혀 복잡성이 급증한다.
다중팔 밴딧을 실험 도구로 쓰지 않는 이유: 다중 목표 최적화 불가, 속도 이점 과장, 시간대 영향 처리 어려움.
Spotify는 지난해 58개 팀이 모바일 홈 화면에서만 520개 실험을 실행했고, 스케일에서는 단일 실험 정교함보다 조직화 도구가 더 중요하다.
ML 스택과 실험 플랫폼(Confidence)은 API 통합으로 연결되어 각자 잘하는 것에 집중한다.

상세 정리

개인화 범위: 플레이리스트 추천, 개인화 검색, 홈 화면 바로가기 등 사용자별 경험 제공. 강화학습(RL)이 현대 추천 시스템의 핵심이 되어가고 있다.
A/B vs 밴딧 vs 문맥형 밴딧: A/B는 무작위 배치로 평균 최적 옵션을 찾고, 다중팔 밴딧은 성능 기반으로 비율을 동적 조정하며, 문맥형 밴딧은 사용자 특성(나이 등)을 조건으로 개인화 결정을 내린다.
분리의 기술적 이유: 개인화는 저지연 특성 접근, 실시간 데이터 수집, 빠른 추천 계산이 필요한 반면, 실험 평가는 통계적 유효성과 다중 팀 동시 실험 조율이 핵심이다.
다중팔 밴딧 한계 1: 단일 지표 최적화라 익숙한 곡만 추천하면 단기 참여도는 높아도 음악 발견과 장기 만족도가 떨어지는 다중 목표 문제를 처리하지 못한다.
다중팔 밴딧 한계 2: 속도 이점이 과장됨. Spotify가 관심 갖는 유지율 같은 비즈니스 지표는 수주 관찰이 필요해 빠른 수렴의 실질적 이점이 없다.
다중팔 밴딧 한계 3: 월요일 아침 vs 금요일 저녁, 주중 vs 주말 사용자 행동 차이로 시간대 효과가 결과를 왜곡한다.
Confidence 플랫폼: 모든 시스템과의 커스텀 통합을 단순화하도록 설계. 광고, 인앱 메시지, 외부 플랫폼과도 통합되어 실험 관리 단일 허브 역할을 한다.
스케일 과제: 지난해 홈 화면에서 58개 팀이 520개 실험을 방해 없이 실행했고, 개별 실험의 정교함보다 수백 개 동시 실험의 조직화가 더 큰 도전 과제다.
통합 방식: ML 스택이 추천 서빙을 담당하고, 실험 스택이 추천 시스템 자체를 평가하는 구조. API 통합으로 두 스택이 느슨하게 결합된다.
초기 투자 권고: 데이터 아키텍처(대규모 특성 수집), 준실시간 특성 공급 루프, 빠른 추론을 위한 계산 인프라를 처음부터 갖추는 것이 장기적으로 유리하다.

왜 읽나ML 기반 추천 시스템과 A/B 실험 플랫폼을 분리해 운영하는 이유와 구체적 설계 판단을 찾는 ML 엔지니어/데이터 사이언티스트에게 유용하다.

Spotify Engineering 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

개인화와 실험에 스택을 분리하는 이유

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기