에이아이트릭스 연구팀이 의료 AI의 시계열 데이터에 특화된 설명 가능한 AI(XAI) 기법 TIMING을 개발해 ICML 2025 Spotlight 논문(전체 제출 2.6%)으로 선정됐다. 기존 XAI 평가 지표의 구조적 결함을 규명하고 새 지표(CPD, CPP)와 Segment-based Random Masking 알고리즘을 제안했다.
핵심 포인트- 기존 시계열 XAI 평가 방법이 긍정·부정 기여 신호를 상쇄해 "중요하지 않다"는 잘못된 결론을 내리는 구조적 결함을 발견했다.
- 새 지표 CPD(Cumulative Prediction Difference)는 중요 시점 제거 시 예측 변화량을, CPP(Cumulative Prediction Preservation)는 덜 중요한 시점 제거 시 예측 안정성을 측정한다.
- Integrated Gradients(IG)를 시계열용으로 고도화: Segment-based Random Masking으로 OOD 문제와 Temporal Dependency 미반영 한계를 동시에 해결했다.
- MIMIC-III 등 6개 임상 데이터셋에서 기존 방법 대비 최대 109.8% 성능 향상, 샘플당 0.04초 실시간 처리.
- CNN, RNN, Transformer 등 다양한 아키텍처에 일관되게 적용 가능하다.
상세 정리- 배경: 의료 AI 솔루션 AITRICS-VC(바이탈케어)가 환자 생체신호로 악화를 예측하는데, 의료진 신뢰를 위해 "왜 이런 예측인가"에 대한 설명이 필수다.
- 기존 XAI 한계: 특정 시점이 중요하다는 것은 알려주지만 예측을 높이는지 낮추는지는 설명하지 못했다.
- 평가 지표 결함 발견: +10점과 -10점 기여를 합산해 "0점, 중요하지 않다"로 처리하는 구조적 오류를 확인했다.
- IG 한계 규명: 시계열에서 성능 저하 원인 두 가지 — 실제 데이터 분포와 동떨어진 OOD 샘플 발생, 시간적 연관성(Temporal Dependency) 미반영.
- CPD 지표: 중요한 시점을 하나씩 제거하며 예측 변화량을 누적 추적해 기여 방향(+/-)을 분리해서 측정한다.
- CPP 지표: 덜 중요한 시점을 제거했을 때 예측이 안정적으로 유지되는지 측정해 설명 안정성을 검증한다.
- Segment-based Random Masking: 일부 구간은 원본 유지(시간적 연속성 보존), 나머지 구간은 차단(독립적 영향 관찰) — OOD 불안정성도 완화한다.
- 결과: 6개 데이터셋에서 최대 109.8% 성능 향상, 실시간 처리(0.04초/샘플), CNN·RNN·Transformer 모두 일관된 개선.
- 임상 검증: 중환자실 혈중 젖산 수치가 사망 위험을 높이는 요인인지 상쇄 요인인지 구체적으로 설명해 임상 지식과 일치하는 해석을 제공했다.
- 향후 계획: TIMING을 실제 바이탈케어에 적용해 환자 안전과 임상 활용도를 높일 예정이다.
왜 읽나의료 AI 또는 시계열 데이터를 다루는 ML 연구자·엔지니어에게 XAI 평가 설계의 구조적 함정과 실용적 해결책을 제시하는 ICML 2025 레퍼런스.