AI에게 투자정보를 말하게 하기까지

토스증권이 LLM 기반 투자 정보 서비스를 구축하면서 마주친 금융 도메인 특유의 제약(적시성·정확성·검증 가능성·비정상성)과 이를 돌파한 파이프라인 설계를 다룬다. 자율형 에이전트 대신 절차형 오케스트레이션을 선택하고, 평가 가능한 구조를 먼저 설계한 것이 핵심이다.

핵심 포인트

상세 정리

문제 맥락: 시장 데이터는 몇 초 차이로 의미가 달라지고(적시성), 뉴스에 회사명이 있어도 주가 설명 근거가 되지 않는다(정확성). 모든 판단에 추적 가능한 근거가 필요하고(검증 가능성), 시장 상황에 따라 데이터 분포가 계속 바뀐다(비정상성).
1단계: 입수 시점에 BERT 분류 모델로 메타데이터를 부착한 뒤, 하이브리드 리트리버로 넓게 가져오고, 중복 제거→리랭킹→컨텍스트 정렬을 거쳐 LLM 입력을 구성한다.
2단계: 자율형 에이전트를 버리고 고정 단계 절차형 오케스트레이션을 도입해 각 단계가 독립적인 디버깅·평가 포인트가 되게 설계했다.
3단계: LLM이 응답과 함께 범주형 루브릭을 생성하게 하고, 동적 Few-Shot 검색으로 맥락에 맞는 사례를 프롬프트에 주입한다.
순환 구조: 운영 중 발견된 실패 사례가 평가셋과 하드 샘플로 환류해 다음 모델·프롬프트 개선에 반영된다.
핵심 철학: "지속 가능한 AI 서비스는 좋은 문장이 아니라 분해 가능한 판단을 남긴다"—출력 품질보다 추적 가능성이 먼저다.

왜 읽나LLM 기반 금융·도메인 특화 서비스를 구축하는 ML 엔지니어·AI 팀에게 절차형 오케스트레이션 설계와 평가 순환 구조의 실전 레퍼런스.

토스 SLASH 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

이 글과 비슷한