카카오뱅크의 이상거래 탐지 model을 현업 전문가와 감사 조직이 검증할 수 있도록 SHAP 설명을 제공하되, 그 높은 계산 비용을 줄인 KAIST 산학협력 사례다. 예측값만으로는 어떤 feature 때문에 차단됐는지 알 수 없어 대응과 개선이 어렵다는 문제에서 출발한다.
핵심 포인트- SHAP 기여도를 monitoring 화면에 제공해 담당자가 domain 가설로 결과를 검토하고 data scientist와 원인을 공유하며 model debugging·감사 검토까지 잇는 운영 흐름 설계
- cooperative game의 Shapley value를 feature 기여도로 옮기되 모든 조합 확인은 지수적으로 커지므로, KernelSHAP은 subset sampling과 background data 대체 후 weighted linear regression으로 근사하나 여전히 많은 inference가 필요
- exact SHAP·KernelSHAP·algorithm 근사·neural surrogate를 속도·model agnostic·설명 충실도로 비교하되, 기존 SHAP 결과의 의미를 유지해야 해 가장 빠른 방법이 아니라 engineering 최적화·SHAP-IQ·FastSHAP을 동일 조건에서 평가
- 실거래를 외부에 줄 수 없어 유사 분포의 bank account fraud 공개 data로 실험하고, latency뿐 아니라 cosine similarity·top feature rank agreement로 설명 오차를 측정해 service에 맞는 속도·충실도 경계를 결정
왜 읽나규제·감사가 얽힌 도메인에서 XAI를 production에 올리려는 팀에게, 설명 충실도를 지키며 latency를 낮추는 방법 비교와 평가 기준을 제시한다.