pile·
AI / ML·AITRICSAITRICS·

시계열 XAI 기법 TIMING: ICML 2025 Spotlight 논문

에이아이트릭스 연구팀이 의료 AI의 시계열 데이터에 특화된 설명 가능한 AI(XAI) 기법 TIMING을 개발해 ICML 2025 Spotlight 논문(전체 제출 2.6%)으로 선정됐다. 기존 XAI 평가 지표의 구조적 결함을 규명하고 새 지표(CPD, CPP)와 Segment-based Random Masking 알고리즘을 제안했다.

핵심 포인트
  • 기존 시계열 XAI 평가 방법이 긍정·부정 기여 신호를 상쇄해 "중요하지 않다"는 잘못된 결론을 내리는 구조적 결함을 발견했다.
  • 새 지표 CPD(Cumulative Prediction Difference)는 중요 시점 제거 시 예측 변화량을, CPP(Cumulative Prediction Preservation)는 덜 중요한 시점 제거 시 예측 안정성을 측정한다.
  • Integrated Gradients(IG)를 시계열용으로 고도화: Segment-based Random Masking으로 OOD 문제와 Temporal Dependency 미반영 한계를 동시에 해결했다.
  • MIMIC-III 등 6개 임상 데이터셋에서 기존 방법 대비 최대 109.8% 성능 향상, 샘플당 0.04초 실시간 처리.
  • CNN, RNN, Transformer 등 다양한 아키텍처에 일관되게 적용 가능하다.
상세 정리
  • 배경: 의료 AI 솔루션 AITRICS-VC(바이탈케어)가 환자 생체신호로 악화를 예측하는데, 의료진 신뢰를 위해 "왜 이런 예측인가"에 대한 설명이 필수다.
  • 기존 XAI 한계: 특정 시점이 중요하다는 것은 알려주지만 예측을 높이는지 낮추는지는 설명하지 못했다.
  • 평가 지표 결함 발견: +10점과 -10점 기여를 합산해 "0점, 중요하지 않다"로 처리하는 구조적 오류를 확인했다.
  • IG 한계 규명: 시계열에서 성능 저하 원인 두 가지 — 실제 데이터 분포와 동떨어진 OOD 샘플 발생, 시간적 연관성(Temporal Dependency) 미반영.
  • CPD 지표: 중요한 시점을 하나씩 제거하며 예측 변화량을 누적 추적해 기여 방향(+/-)을 분리해서 측정한다.
  • CPP 지표: 덜 중요한 시점을 제거했을 때 예측이 안정적으로 유지되는지 측정해 설명 안정성을 검증한다.
  • Segment-based Random Masking: 일부 구간은 원본 유지(시간적 연속성 보존), 나머지 구간은 차단(독립적 영향 관찰) — OOD 불안정성도 완화한다.
  • 결과: 6개 데이터셋에서 최대 109.8% 성능 향상, 실시간 처리(0.04초/샘플), CNN·RNN·Transformer 모두 일관된 개선.
  • 임상 검증: 중환자실 혈중 젖산 수치가 사망 위험을 높이는 요인인지 상쇄 요인인지 구체적으로 설명해 임상 지식과 일치하는 해석을 제공했다.
  • 향후 계획: TIMING을 실제 바이탈케어에 적용해 환자 안전과 임상 활용도를 높일 예정이다.
왜 읽나의료 AI 또는 시계열 데이터를 다루는 ML 연구자·엔지니어에게 XAI 평가 설계의 구조적 함정과 실용적 해결책을 제시하는 ICML 2025 레퍼런스.
AITRICS
AITRICS 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·stackoverflow-blogStack Overflow Blog·

    에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

    Motorola Solutions의 테스트 엔지니어링 선임 매니저 Suneet Malhotra가 Stack Overflow 팟캐스트에 출연해 MCP(Model Context Protocol) 기반 에이전틱 SDLC 파이프라인 구축과 LLM-as-judge 평가 방법론을 소개했다. QA 엔지니어링 관점을 소프트웨어 개발 생애 전반에 적용하고, 설계 단계 직후 스펙을 강화해 결함 비용을 줄이는 'QA shift-left' 접근을 다룬다.

    요약 이어보기
    #llm-agent#mcp#test-automation+2
  2. AI / ML·LINE EngineeringLINE Engineering·

    보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

    LY Corporation Security Development Division이 보안 업무용 AI 에이전트 플랫폼 SAGE의 개발 과정을 공개했다. "완전 자동화"와 "도입 미루기" 양 극단 사이에서 "판단은 사람에게 남기는 설계"를 핵심 원칙으로 삼고, 3단계 점진적 도입 전략(AI 보조→에이전트 협업→자동화)을 채택했다. 현재는 1단계를 중심으로 파일럿·실운영 중이다.

    요약 이어보기
    #llm-app#opensearch#mcp+2