AI / ML·

데보션 (SK)·2개월 전

LLM은 언제 ＂모른다＂고 말해야 하는가

AbstentionBench와 RefusalBench 두 연구를 바탕으로 LLM의 abstention 능력(모를 때 모른다고 말하는 능력)이 정확도와는 별개의 축으로 존재함을 실증 데이터로 분석한다. 모델 크기·reasoning 학습·test-time scaling이 abstention에 미치는 반직관적 영향을 구체적 수치로 보여준다.

핵심 포인트

**모델 크기와 abstention은 무관**: Llama 405B와 8B의 abstention 성능이 거의 동일 — 규모 확장으로 해결 안 됨
**Reasoning 모델은 오히려 더 나쁨**: reasoning 학습 모델이 abstention에서 24% 더 낮은 성능 기록
**Test-time scaling도 역효과**: CoT·다단계 추론 적용 시 abstention 비율이 오히려 하락
**두 능력은 별개**: 모른다고 거부하는 능력(refusal)과 유해 요청 거부(safety refusal)는 독립적으로 측정·훈련 필요
**시스템 프롬프트는 임시방편**: "모르면 모른다고 해"는 단기 패치, 근본 해결은 alignment 재설계
**평가 프레임워크**: AbstentionBench는 지식 범위 밖 질문, RefusalBench는 harmful 요청 거부 각각 독립 측정

상세 정리

LLM abstention = 자신의 지식 한계를 인식하고 "모른다"고 응답하는 능력 (hallucination 방지의 핵심)
AbstentionBench: 지식 범위 밖 사실 질문에 대해 모델이 올바르게 abstain하는지 측정
RefusalBench: 유해·부적절 요청에 대한 거부 능력 측정 (안전성 차원)
Llama 3.1 시리즈 실험: 8B·70B·405B 모두 abstention 점수 유사 → 파라미터 수가 핵심 변수 아님
Reasoning 모델(o1류): 더 길게 생각할수록 "그럴듯한 답" 생성 경향 강화 → abstention 비율 24% 하락
Test-time scaling(더 많은 토큰 소비): 확신 없는 영역에서도 답을 만들어내는 방향으로 작동
Detection(모름 감지)와 Categorization(어떤 종류의 모름인지 분류)은 별도로 훈련해야 함
현재 RLHF·RLAIF 파이프라인은 정확한 답 보상에 치우쳐 있어 abstention 시그널이 약함
실용적 함의: RAG, tool-use, agentic 시스템에서 abstention 실패 = 잘못된 액션으로 이어짐
벤치마크 한계: 인위적 질문 세트 → 실제 사용자 쿼리 분포와 괴리 존재
향후 방향: abstention-aware RLHF, 불확실성 정량화(calibration) 통합, 지식 경계 명시 학습

왜 읽나에이전트·RAG 시스템 설계자라면 모델 크기 늘리는 것보다 abstention 훈련이 더 효과적임을 이 연구가 설득력 있게 보여준다.

데보션 (SK) 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

·takedown 요청

이 글과 비슷한