실리콘투의 사내 지식 MCP 게이트웨이 구축기

실리콘투가 CMS·WMS·OMS 등 사내 시스템에 분산된 업무 지식을 AI 에이전트가 권한 있게 조회하도록 MCP(Model Context Protocol) 기반 단일 게이트웨이를 구축한 과정이다. BM25 키워드 검색과 벡터 검색을 RRF로 융합하고 크로스인코더로 리랭킹해 Recall@10을 0.70에서 0.98로 끌어올렸다.

핵심 포인트

업무 규칙이 저장 프로시저·소스 코드·문서에 분산돼 AI 에이전트가 회사 지식을 일관성 있게 활용하지 못하는 게 출발점이었다.
설계 원칙: 검색 전 권한 차단, 사내 임베딩(egress 0), 모든 호출 감사 기록, 답변 생성은 다운스트림 LLM에 위임.
하이브리드 검색: BM25 + 벡터 + RRF 융합 + 크로스인코더 리랭킹으로 단일 검색 방식의 한계를 보완.
AWS 이관: 온프렘 SQLite FTS5 + LanceDB 구조를 RDS PostgreSQL + pgvector + ECS Fargate로 전환해 확장성 확보.
성과: Recall@10 0.70 → 0.98, 콜드 지연 약 28초 → 8.4초.

상세 정리

문제 배경: CMS·WMS·OMS에 분산된 업무 규칙을 에이전트가 일관되게 질의하지 못해 사람이 매번 중재해야 했다.
설계 원칙 결정: 게이트웨이가 비대해지지 않도록 '검색 전담, 답변 생성은 다운스트림'으로 역할을 분리했다.
초기 구조: SQLite FTS5(키워드)와 LanceDB(벡터)를 온프렘에 두고 egress 없이 사내 처리.
AWS 이관 배경: 규모 확장과 관리형 인프라 필요로 RDS PostgreSQL + pgvector로 벡터 저장소를 통합하고 ECS Fargate에 배포.
하이브리드 검색 구현: BM25 키워드 점수와 벡터 유사도를 RRF(Reciprocal Rank Fusion)로 합산 후 크로스인코더로 최종 순위를 재조정.
권한 통제: 검색 요청이 도달하기 전에 권한을 차단하고, 모든 MCP 호출을 감사 로그로 기록해 접근 이력을 추적.
운영 결과: Recall@10이 0.70에서 0.98로 개선됐고, 콜드 지연이 약 28초에서 8.4초로 단축됐다. 개발자·사내 AI 에이전트·Slack 챗봇이 이 게이트웨이를 통해 회사 지식에 접근 중.

왜 읽나사내 지식을 AI 에이전트에 안전하게 노출하려는 팀이 MCP 게이트웨이 설계·하이브리드 검색 구현·AWS 이관 전 과정을 실측 수치와 함께 살펴볼 수 있다.

AWS Korea Tech 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청