A/B 테스트에서 LLM이 인간을 대체할 수 있는 조건

Spotify Engineering이 LLM 예측을 A/B 테스트의 인간 반응 대체재로 사용할 수 있는 조건을 생물통계학의 대리 끝점(surrogate endpoint) 이론으로 형식화했다. Upworthy Research Archive(수천 건의 헤드라인 A/B 테스트)를 활용해 gpt-4o-mini가 언제, 어떤 방법으로만 인간 처치 효과를 복원할 수 있는지 실증했다.

핵심 포인트

보정 없이 LLM 예측만 쓰면 실제 인간 처치 효과의 39%밖에 복원하지 못하며, 편향은 방향성이 있다(효과를 0으로 감쇠).
LLM 출력이 유효한 대리 지표가 되려면 대리성(surrogacy)과 비교가능성(comparability) 두 가지 조건이 반드시 성립해야 한다.
선형 캘리브레이션(OLS)은 실패했고, 랜덤 포레스트·그래디언트 부스팅 같은 비선형 ML 모델만 인간 기준과 통계적으로 동일한 결과를 냈다.
두 가지 가정은 역사 데이터에서 부분 검증이 가능하지만, 과거와 다른 새 처치에는 성립 여부를 사전에 확인할 방법이 없다.
LLM 기반 A/B 테스트의 이점이 가장 큰 상황(완전히 새로운 처치)이 가정 성립 가능성이 가장 낮은 상황과 정확히 일치한다.

상세 정리

문제 설정: LLM 예측을 실험 대상으로 써서 몇 시간 만에 결과를 얻는 아이디어는 매력적이지만, 이것이 인간 평균 처치 효과를 복원한다는 보장이 없다.
이론적 틀: 생물통계학의 대리 끝점 이론을 차용해 두 가지 가정을 형식화했다. 대리성은 "처치가 인간 반응에 미치는 모든 영향을 LLM 출력이 완전히 매개한다"는 것이고, 비교가능성은 "캘리브레이션 함수가 새 실험에서도 동일하게 유지된다"는 것이다.
실증 데이터셋: Upworthy Research Archive는 수천 건의 뉴스 헤드라인 A/B 테스트 오픈 데이터셋이다. gpt-4o-mini에 처치·대조 헤드라인별로 클릭률을 예측하게 했다.
원시 편향: 보정 없이 LLM 예측을 그대로 쓰면 처치 효과의 39%만 복원됐다. 편향은 체계적·방향성 있음(처치 효과를 0으로 감쇠)이라 무작위 노이즈와 다르다.
OLS 실패: 선형 캘리브레이션은 위양성 검증 테스트에서 인간 기준과 3.8 표준 오차만큼 차이가 났다. LLM 예측의 비선형 관계를 포착하지 못했기 때문이다.
ML 모델 성공: 랜덤 포레스트와 그래디언트 부스팅은 캘리브레이션 후 인간 처치 효과와 통계적으로 유의미한 차이가 없었다.
측정 오차 처리: LLM의 샘플링 온도로 인한 노이즈는 단일 예측만으로는 처치 효과를 0으로 편향시킨다. 실험 단위별 여러 번 샘플링해 평균을 낸 뒤 사용하면 이 문제를 완화할 수 있다.
새 처치의 한계: 가정은 역사 데이터에서 부분 검증이 가능하지만, 과거 실험과 다른 새 처치(새 UI 패러다임, 다른 가격 모델 등)에는 적용 여부를 사전에 알 수 없다.
Upworthy 특수성: 해당 데이터셋은 텍스트 기반·이진 결과(클릭·비클릭)라는 LLM에 매우 유리한 조건이다. 레이아웃·알고리즘·가격 처치에는 조건 성립이 훨씬 어렵다.
LLM의 실용적 역할: 실험 슬롯 소모 전 약한 아이디어 필터링이나 분산 감소를 위한 공변량으로 쓰는 것은 여전히 유효하다.