AI 데이터 분석가 '물어보새', 그다음: 더 넓고 깊은 지식 공유하기 #우아콘2025 #우아한형제들

우아한테크·우아콘 2025 2025·7개월 전·

#rag#mcp#ai-agent#knowledge-management#llm-observability#enterprise-search

AI 요약

사내 Text-to-SQL 도구로 출발한 AI 분석가 '물어보새'가, 구성원이 용어·정책·업무 진행 상황까지 묻기 시작하면서 지식 발견과 지원 채널 자동화로 확장된 여정을 다룬다. 예상 밖 질문에서 도출한 다섯 요구가 어떻게 아키텍처로 이어졌는지를 따라간다.

핵심 포인트

개인 궁금증은 Slack DM의 knowledge discovery로, 담당자 확인이 필요한 반복 문의는 공개 support channel에서 1차 응답자로 배치하되 해결 안 되면 담당자를 호출해 사람 지원 경로를 막지 않음
이미지 위주 포털 문서는 핵심 이미지를 골라 multimodal LLM으로 text화해 검색 base에 넣고, 오늘 갱신된 Jira처럼 실시간 정보는 MCP server로 조회하며 장애 시 저장 문서로 fallback
최근 세 대화를 memory로 결합해 '위 쿼리 설명해줘' 같은 후속 지시 대상을 복원하고, 고정 chain 대신 supervisor가 SQL·지식 검색 등 전문 agent를 조합하는 hybrid agentic workflow 적용
질문 분류부터 tool 호출·추론·token 비용까지 한 trace로 기록하고 실시간·batch 평가와 LLM-as-a-judge로 품질을 측정, 다음 단계로 팀별 agent ecosystem과 analytics assistant를 지향

왜 읽나단일 목적 LLM 도구를 사내 전반의 지식·지원 플랫폼으로 키우려는 팀에게, memory·MCP·agentic workflow·tracing을 단계적으로 엮은 실전 확장 설계.

챕터별 상세

012:54 – 8:02

예상 밖의 사내 질문에서 찾은 다섯 요구사항

데이터 검색과 Text-to-SQL로 시작했지만 구성원은 사내 용어, 정책, 포털 정보, 이전 대화 요약, 복합 성과 분석까지 물어보기 시작했다. 이 질문들에서 흩어진 지식의 확장, 대화 memory, 유연한 agentic reasoning, 실행 tracing, 반복 문의를 줄이는 소통 채널이라는 다섯 핵심 요구를 도출했다.

개인적인 궁금증과 개인 맥락이 필요한 질문은 Slack DM에서 knowledge discovery로 처리하고, 담당자 확인이 필요한 반복 문의는 공개 support channel에 물어보새를 1차 응답자로 배치한다. AI 답변으로 해결되지 않으면 담당자를 호출할 수 있게 해 자동화가 사람의 지원 경로를 막지 않으면서 개인과 지원 조직 모두에게 맞는 대화 경험을 만든다.

사내 포털 문서의 상당수가 이미지라 첫 핵심 이미지를 선택하고 품질을 유지해 resize한 뒤 multimodal LLM으로 text화해 기존 검색에서 누락되던 복지·정책 정보를 지식 base에 넣었다. 오늘 갱신된 Jira ticket처럼 사전 적재만으로 답할 수 없는 정보는 MCP server로 조회하고, connection manager가 session과 token을 관리하며 장애 시 저장된 문서로 fallback해 응답을 유지한다.

질문과 답변을 memory에 기록하고 최근 세 대화를 다음 질의에 결합해 ‘위 쿼리를 설명해 줘’ 같은 후속 요청의 지시 대상을 복원한다. 복합 문제에는 고정 chain 대신 LLM이 도구와 행동을 고르는 agentic workflow를 적용하고, SQL·지식 검색 같은 전문 agent를 supervisor가 조합하며 장기적으로 agent들이 자율 협력하는 구조를 실험한다.

질문 분류부터 tool 호출, LLM 추론, 답변, token·비용까지 한 trace로 기록해 불만족 응답의 실패 지점을 찾고 실시간·batch 평가와 LLM-as-a-judge로 검색 및 생성 품질을 측정한다. 다음 단계에서는 agent kit로 각 직무와 팀이 agent를 직접 연결하는 분산 ecosystem을 만들고, 데이터 탐색·가설 검증·모델링을 자동화해 담당자는 의사 결정에 집중하는 analytics assistant를 지향한다.