Backoffice AI Agent 구축기 — RAG+MCP 기반 플레이스AI 특화 지식 검색 시스템

문제Confluence·GitHub·외부 문서에 흩어진 사내 자료를 키워드 검색으로는 용어 변형·약어·맥락 차이를 못 잡아 백오피스 운영자가 답을 찾는 데 시간이 든다.

접근GitHub API·Confluence CQL·Crawl4AI 로 문서를 수집, Milvus 에 dense/sparse 임베딩을 저장하고 OpenSearch 를 raw store 로 둔다. BM25 + dense vector hybrid retrieval, RRF fusion, LLM 리랭킹 위에 MCP 서버를 얹어 에이전트가 직접 쿼리를 다듬게 한다.

결과키워드 기반 MCP 대비 답변 만족도 2배, 응답 속도 1.4배, 토큰 66% 절감, 툴 호출 49% 감소. 5개 소스 11,173 문서 인덱싱.