몇 주에서 하루로: Airbnb의 LLM 평가 속도 개선기

Airbnb가 LLM 기반 시스템 개발 시 평가 인프라의 비결정성 문제를 4계층 구조로 해결해 평가 사이클을 몇 주에서 하루로 단축한 과정을 다룬다. 저자는 LLM 파이프라인의 진짜 병목이 모델 성능이 아닌 신뢰할 수 있는 평가 설계에 있음을 지적하며, 기존 소프트웨어 엔지니어링 패턴을 체계적으로 적용하는 것이 가장 큰 레버리지라고 강조한다.

핵심 포인트

LLM 기반 평가는 비결정적이라 75%의 생성 참조 데이터가 동일 입력에서도 다른 문자열로 재생성되는 문제가 있었다.
이중축 캐싱(참조: 샘플 식별자+생성 설정, 판사 점수: 샘플+모델 출력+판사 설정+메트릭)으로 결정론적 평가 기반을 만들었다.
마이크로 어댑터(LoRA 패치, 랭크 50 미만, 단일 GPU 1시간 이내 훈련)로 개별 버그만 타겟해 전체 재훈련 없이 수정했다.
컴포넌트 수준 신뢰는 결합부에서 잘못된 보증을 만들므로 대표 입력을 전체 프로덕션 경로로 실행하는 엔드투엔드 검증을 마지막 계층으로 추가했다.
4계층은 체크리스트가 아닌 종속성 스택으로, 각 계층 제거 시 나머지 계층 성능이 저하된다.

상세 정리

배경: LLM 파이프라인 개발에서 진짜 병목은 모델 개선이 아니라 신뢰할 수 있는 실험과 평가 설계에 있었으며, 비결정성이 반복 개발을 어렵게 했다.
Layer 1 노이즈 진단: 불확실성을 인식적(모델/판사 한계)과 우연적(작업 자체의 모호성)으로 구분하고, 두 유형이 서로 다른 진단과 수정 방법을 요구함을 파악했다.
비결정성 규모: 같은 판사가 같은 데이터셋에서 약 1% 변동이 발생하고, 생성 참조 데이터의 75%가 동일 입력에서 다른 문자열로 재생성됐다.
Layer 2 결정론적 기반: 참조(샘플 식별자+생성 설정)와 판사 점수(샘플+모델 출력+판사 설정+메트릭)의 이중축 캐싱으로 동일 입력에서 캐시된 결과를 반환해 실행 간 비교를 가능하게 했다.
Layer 3 마이크로 어댑터: LoRA 패치(랭크 50 미만)로 단일 GPU에서 1시간 이내 훈련하고 하나의 버그만 타겟하며, 전문가 검증 영역 회귀 테스트, 높은 불확실성 출력의 인간 검토, 자동 롤백 포함 카나리 배포로 안전성을 확보했다.
어댑터 관리(CACE 규칙): 공동 트리거 패치를 통합하고, 어댑터 누적 시 전체 재훈련하며, 미사용 패치를 자동 언로드해 패치 간 상호작용 문제를 예방했다.
Layer 4 엔드투엔드 검증: 대표 입력을 전체 프로덕션 경로로 실행하고, 트래픽 가중치 기반 샘플링과 꼬리 부분 과다표현(로케일, 입력 양식)으로 커버리지를 높였다.
버그 발견 사례: 코드 혼합 입력의 언어 감지 오류, 모델이 의존하는 필드의 전처리 절단, 캐시 웜 상호작용에서의 지연 급증이 엔드투엔드 검증에서 발견됐다.
성과: 평가 사이클이 몇 주에서 하루로 단축돼 LLM 시스템 반복 속도가 대폭 향상됐다.