눈과 귀를 가진 의료 AI : 판독을 넘어 추론으로

에이아이트릭스가 AITRICS-VC(바이탈케어)와 V.Doc Pro(브이닥 프로) 두 제품에서 멀티모달 AI를 구체화한 방식을 소개한다. 의료진은 EMR 수치·영상·환자 음성을 동시에 다루지만 기존 단일 모달 AI는 각 데이터를 개별적으로만 처리했는데, 멀티모달 AI는 이질적 데이터를 연결해 맥락을 읽어냄으로써 단일 정보로 놓치기 쉬운 신호를 포착한다.

핵심 포인트

의료진은 EMR 수치·영상·환자 음성을 종합해 판단하지만, 기존 단일 모달 AI는 각 데이터를 분리해서만 처리해 맥락을 놓쳤다.
AITRICS-VC는 시계열 바이탈 예측 모델에 LLM을 결합해 위험도 예측 결과를 텍스트로 설명함으로써 의료진 신뢰도를 높인다.
V.Doc Pro는 진료 중 오디오를 STT로 텍스트화한 뒤 LLM이 요약·문서화하고, 향후 피부 병변 이미지·음성 톤 분석까지 확장할 계획이다.
Agentic AI 구조에서 멀티모달 AI는 차팅·바이탈·영상을 각각 담당하는 에이전트들이 결과를 교환하며 판단을 조율하는 기반이 된다.
일상 속 여러 생체 신호를 AI가 지속 읽어 증상 악화 전 선제적 대응을 가능케 하는 방향으로 의료 AI가 진화하고 있다.

상세 정리

문제 배경: 의료진은 바이탈·영상·차트·환자 음성을 동시에 다루지만 단일 모달 AI는 각각만 처리해 종합 맥락을 놓쳤다.
멀티모달 정의: 글·이미지·음성·수치 같은 이질적 데이터를 하나의 모델이 함께 처리해 데이터 간 관계와 맥락까지 파악하는 AI.
의료 적합성: 과거 차트부터 최신 검사 수치·영상 자료까지 빠르게 조합해야 하는 의료 환경에서 정보 탐색 부담을 줄이고 의료진이 핵심 의사결정에 집중하게 한다.
환자 변화: 증상이 뚜렷해진 뒤 병원을 찾는 방식에서 일상 생체 신호를 AI가 지속 모니터링해 변화를 선제적으로 포착하는 연속적 돌봄으로 전환된다.
AITRICS-VC 접근: 방대한 시계열 바이탈 데이터를 예측 모델로 분석하고, LLM을 결합해 위험도 예측 결과에 대한 텍스트 설명을 자동 생성해 의료진이 결과를 이해하고 실제 판단에 활용하도록 돕는다.
V.Doc Pro 현황: 진료 중 발생하는 오디오를 STT로 변환하고 LLM이 요약해 문서화하는 구조로 빠른 구조화된 차팅을 지원한다.
V.Doc Pro 확장 계획: 텍스트 기반 사전 문진에 피부 병변 사진을 결합해 진단 정확도를 높이거나 음성 떨림·톤을 분석해 환자 상태를 세밀하게 파악하는 방향을 테스트 중이다.
Agentic AI 연계: 차팅 기록·시계열 바이탈·진료 음성·영상을 각각 담당하는 에이전트가 결과를 주고받아 단일 데이터로 놓칠 수 있는 신호를 종합적으로 포착한다.