임상 RAG의 '기만적 근거' — 엔티티 귀속 실패 분석

루닛이 임상 의사결정 지원 RAG 시스템에서 발견한 '기만적 근거(deceptive grounding)' 실패 모드를 분석한다. 모델이 약물 X를 묻는 질문에 약물 Y의 실제 임상 근거를 정확히 검색·인용하면서 그것을 X의 근거인 양 귀속시키는 현상이다. 사실은 맞고 인용도 진짜라 기존 안전성 검사(환각·충실성·인용 진위)를 전부 통과해 잡히지 않는다.

핵심 포인트

기만적 근거는 환각 없음과 출처 충실을 모두 만족해 표준 RAG 안전 검사의 사각지대에 존재한다. 결함은 사실이 아니라 잘못된 엔티티에 대한 귀속에 있다.
13개 모델 실험에서 의료·바이오 특화 파인튜닝 모델이 범용 모델보다 오귀속률이 더 높았고, 일부는 적대적 조건에서 89%까지 도달했다.
실패는 약물 이름이 아니라 근거 내용이 유발한다. 실제 약명을 가짜 코드로 바꿔도 오귀속이 오히려 30~65%p 증가했다.
모델은 80% 응답에서 엔티티 불일치를 인지했지만 그중 73%가 여전히 오귀속했다. 실패는 지각이 아니라 답변 합성 단계에서 일어난다.
가장 효과적인 개입은 검색 개선이다. 올바른 약물의 근거를 검색하면 기만적 근거가 70~80%에서 최대 6.4%로 급감했다.

상세 정리

문제 정의: 응답이 검색 근거에 충실하게 grounded 돼 있으나 그 근거가 실제로는 다른 약물의 것이라 귀속이 틀린 상태다. 속임수는 사실이 아니라 귀속에 있다.
왜 안 잡히나: 전통적 RAG 안전 평가는 환각 여부, 출처 충실성, 인용 진위 셋을 보는데 기만적 근거는 셋 다 통과한다. 환각은 정확도로, 지식 충돌은 모순으로 잡히지만 이건 두 신호를 모두 회피한다.
유사 질환 함정: X와 Y가 비슷한 질환을 다루면 Y의 근거가 모델이 X에 기대하던 슬롯에 정확히 들어맞아 감지 신호가 사라진다.
전문성의 역설: 의료 파인튜닝은 약물 클래스 관계를 더 잘 인식하게 만드는 동시에, 같은 클래스 유사 약물의 근거를 X에 적용해도 된다고 더 쉽게 판단하게 만든다. 지식의 강점이 잘못된 표적을 겨눈 셈이다.
근거 기반 실패 입증: 약명을 가짜로 바꿔도 임상 근거를 유지하면 오귀속이 증가했다. XC-9941 같은 익명 코드 사용 시 모델에 따라 오류율이 30~65%p 올랐다. 실패를 이끄는 건 이름이 아니라 시험명·수치·결과 같은 근거다.
지각 vs 합성: 불일치 태그를 80%가 인지했지만 73%가 여전히 오귀속했다. 문제는 지각 단계가 아니라 하류의 답변 합성 단계에서 발생한다.
2단계 메커니즘: 첫째 공유된 질환 맥락이 두 약물 간 관련성을 점화하고, 둘째 시험명·등록번호·구체 결과 같은 완성 정보의 검색 여부가 실패 모드를 결정한다.
ablation의 함정: 검색 문서에서 구체 정보를 제거하면 기만적 근거가 67%에서 0%로 떨어지지만 전체 오류율은 98%로 오른다. 모델이 근거 차용을 멈추고 기억에서 confabulate하는 다른 오류 경로로 갈아탈 뿐 정답이 된 게 아니다.
해법 1(귀속 검증): 각 클레임마다 근거가 질의된 약물의 것인지 다른 약물의 것인지 검증한다. 정밀도 97%·재현율 98.7%, 올바른 귀속에 대한 오탐 0, 별도 학습 불필요.
해법 2(검색 개선, 최고 레버리지): 올바른 약물 자신의 근거를 검색하면 기만적 근거가 정점 70~80%에서 최대 6.4%로 급감한다. 저자는 이를 가장 큰 폭의 최고 레버리지 개입으로 꼽는다.
프롬프팅 한계: 답변 전 약물 정체 확인을 지시하면 강한 내부 prior 모델에선 36%에서 6%로 줄지만 다른 모델은 4%p만 이동했다. 모델이 이미 문제를 지각하므로 강제는 답변 합성 이전에 걸어야 한다.
실제 유병률: 배포된 임상 의사결정 지원 시스템의 740개 사전등록 약물-질환 쌍 테스트에서 전체 7.8%, 최근 승인 약물은 13.6%에서 기만적 근거가 나타났다. 임상의가 경험이 적어 오귀속을 못 잡는 신약에 위험이 집중된다.