Eval 주도 개발: AI를 더 빠르게 개선하는 방법

AI 시스템은 확률적 특성상 전통적인 단위 테스트가 품질을 보장하지 못한다. Vercel은 eval(평가)을 AI 시스템의 end-to-end 테스트로 정의하고, 코드 기반/인간/LLM 기반 세 가지 평가 방식을 조합해 v0 제품의 품질을 지속적으로 개선하는 Flywheel 체계를 구축했다. 프롬프트를 거의 매일 반복 개선하는 기반이 된다.

핵심 포인트

Eval은 AI 시스템의 end-to-end 테스트로, 코드 기반 그레이딩/인간 판단/LLM 기반 그레이딩 세 가지 방식이 있다
코드 기반이 비용이 가장 낮고, LLM 기반 그레이딩은 코드 기반 대비 1.5~2배 더 비싸다
AI-Native Flywheel: eval → 고품질 데이터 → 모델 → 전략 → 사용자 피드백의 순환으로 지속 개선
v0에서 안전 관련 eval은 100% 통과율을 목표로, 실패하는 프롬프트를 지속적으로 추가해 커버리지를 확장한다
명시적(좋아요/싫어요)/암묵적(행동 추적)/에러 리포팅 세 가지 사용자 피드백이 eval 시스템에 직접 반영된다

상세 정리

Eval의 필요성: AI 출력은 변동성이 있어 결정론적 단위 테스트로는 품질 보증이 불가하다. Eval은 자동화된 체크, 인간 판단, AI 그레이딩으로 출력 품질을 평가한다
코드 기반 그레이딩: 정규식 매칭이나 키워드 감지 같은 자동화된 체크로 객관적 기준을 검증한다. 비용이 가장 낮고 빠르다
인간 그레이딩: 명확성이나 효과성 같은 주관적 판단이 필요한 영역에서 활용한다. 확장성이 낮아 보조적으로 사용한다
LLM 기반 그레이딩: 다른 AI 모델로 복잡한 판단을 확장한다. 코드 기반 대비 1.5~2배 비용이 들고 신뢰성에 대한 주의가 필요하다
AI-Native Flywheel: eval → 고품질 데이터 수집 → 모델 개선 → 전략 조정 → 사용자 피드백의 순환. Vercel v0에서 프롬프트를 거의 매일 반복 개선하는 기반이 된다
v0 실전 eval: 코드 유효성 검사, import 검증, 멀티파일 확인, 주석-코드 비율 체크 등 다면적인 평가를 수행한다
안전 eval: 안전 관련 eval은 100% 통과율을 목표로 한다. 실패하는 새로운 프롬프트를 지속적으로 추가해 커버리지를 확장한다
사용자 피드백 통합: 명시적(좋아요/싫어요), 암묵적(사용 행동 추적), 에러 리포팅 세 가지 채널의 피드백이 eval 시스템에 직접 반영된다
실용적 조합: 세 가지 평가 방식은 배타적이지 않으며 비용/정밀도/확장성을 고려해 적절히 조합해서 사용한다