스캐터랩이 가장 재밌는 LLM을 찾는 방법

스캐터랩이 제타에서 매주 20개 이상 학습·배포되는 LLM 중 "가장 재밌는" 모델을 고르기 위해 쓰는 세 가지 평가 방식을 설명한다. 벤치마크 점수와 실제 사용성이 불일치하고 "재미"는 유저·시점마다 달라지므로, 정해진 벤치마크 대신 유저의 실제 반응과 지표로 측정한다. A/B 테스트, Multi-Armed Bandit, 자체 리더보드를 순차 관문으로 조합한다.

핵심 포인트

벤치마크와 LLM-as-a-judge로는 "제타에서의 재미"를 정의할 수 없어 유저 실반응 기반 평가로 전환했다.
A/B 테스트: 유저군별로 다른 모델을 배정해 리텐션 등 제품 지표를 유저 단위로 추적하는 최종 관문이다.
MAB: 좋은 모델에 트래픽을 점진적으로 몰아 리스크를 줄이며 세션 단위로 빠르게 우열을 판단한다.
리더보드: 두 답변을 비교시켜 선호를 빠르게 수집하되 위치·길이 편향과 노이즈를 관리해야 한다.
세 방식은 관문으로 결합된다. 리더보드로 최소 선호 확인, MAB로 후보 압축, A/B로 최종 검증.

상세 정리

문제 정의: ML 리서처가 주 10개 이상 모델을 학습·배포하는데 "무슨 기준으로 업데이트·배포하나"가 핵심 고민이었다. 생동감·상세한 발화 같은 카테고리로는 재미 공식이 안 나왔다.
A/B 테스트 원리: 같은 플롯에서 유저군마다 다른 모델을 쓰게 하고, 실험 종료 후 군별 지표로 최종 모델을 정한다. Bing 광고 헤드라인 변경이 매출을 12% 올린 사례를 든다.
A/B 관찰: 유저는 변경이 미미해도 바뀐 모델에 무의식적으로 일관 반응한다. '정확성' 단계를 넘어 '취향' 단계가 되며 내부 평가와 유저 선호가 자주 어긋난다.
A/B 한계: 신뢰도에 큰 모수가 필요하고, 손상된 모델에 배정된 유저는 실험 내내 나쁜 경험을 해 제품 지표가 손상된다.
MAB 도입 배경: 극단적 하이퍼파라미터 조합처럼 다수이면서 고위험인 후보를 안전하게 평가하려고 A/B를 보완했다.
MAB 원리: 탐색(exploration)과 활용(exploitation)의 트레이드오프로 regret을 줄이고 누적 보상을 최대화한다. 대표 알고리즘은 ε-greedy, UCB, 톰슨 샘플링이다.
톰슨 샘플링: 켤레사전분포 기반 베이지안 업데이트. 보상을 Beta(α,β) prior로 두면 성공 시 Beta(α+1,β), 실패 시 Beta(α,β+1)로 갱신하며, 초기엔 α=β=1 균등분포로 둔다.
MAB 특성: 세션 단위 분석이라 유저 간 분산이 줄고, 10명이 10번 플레이하면 100관측이 생겨 같은 유저 수로도 관측이 많다.
MAB 과제: 나쁜 모델 비중을 초반에 빠르게 낮춰 리스크가 적지만, 보상 지표 정의와 지연 보상(재미는 충분히 써봐야 드러남)이 도전 과제다.
리더보드 원리: 두 답변 중 선택을 받아 Elo rating으로 순위화한다. 승리 확률 EA=1/(1+10^((RB-RA)/400)), 갱신은 RA'=RA+K(SA-EA)다. 내부에선 시간 변화를 가정 않는 Bradley-Terry에 편향 보정을 더해 쓴다.
리더보드 편향: 유저가 내용이 아닌 위치(왼쪽·커서 근처)나 답변 길이 같은 형식으로 고르는 노이즈가 섞인다. 순서 랜덤 배정, UI 설계, 후속 필터링으로 편향을 제어한다.
종합: 세 지표가 항상 일치하진 않으며 서로 다른 지표를 추종한다. A/A 테스트와 가드레일 지표(위험 발화·이탈) 모니터링으로 실험 파이프라인을 고도화 중이다.