범용 leaderboard 점수가 실제 금융 service 적합성을 보장하지 않는다는 문제를 겨냥해 카카오뱅크가 구축한 LLM 평가 framework DUO를 소개한다. parameter 크기나 공개 순위만으로 model을 고르기 어려운 상황에서, target task의 품질·비용·일관성을 같은 기준으로 반복 측정하는 체계를 내재화한다.
핵심 포인트- 공개 benchmark·Chatbot Arena·MT-Bench 계열을 재현성·비용·최신 반영 속도로 비교하고, judge의 position·brand bias까지 있어 하나의 점수로 의사결정하면 안 된다는 한계를 지적
- 공개 benchmark는 task 범위가 제한적이고 상향 평준화로 변별력이 빨리 사라지므로, 조직의 use case를 topic과 세부 ability로 분해한 자체 평가 set이 필요
- 무엇을 묻는 Data, 어떻게 비교·채점하는 Method, 결과를 해석하는 Metric 세 축을 분리하고, 예금·적금·대출 계산은 정답 정확도로 상담은 persona 준수·근거 반영으로 측정
- 5개 topic 약 30개 ability를 21개 model에 적용하자 전체 1등이 아니라 영역별 강자가 달랐고, domain data는 직접 만들거나 seed 증강이 필요하며 생성·judge의 출력 변동성 때문에 반복 평가·사람 검증과 평가 set versioning이 필수
왜 읽나자사 서비스에 맞는 LLM을 고르려는 팀에게, 범용 순위 대신 use case를 ability로 쪼갠 자체 평가 framework를 어떻게 설계·운영하는지 보여주는 청사진.