“검색으로 연결되는 재능” — 하이브리드 검색 적용기

크몽 검색 엔지니어가 키워드 검색의 의미·맥락 파악 한계를 극복하기 위해 BM25 기반 키워드 검색과 OpenAI text-embedding-3-small 벡터 검색을 결합한 하이브리드 검색을 도입한 과정을 다룬다. 검색어의 의도와 문맥을 함께 파악해 기존 키워드 매칭으로 잡지 못했던 자연어 검색어에서도 관련 서비스를 찾아낼 수 있게 됐다.

핵심 포인트

기존 키워드(BM25) 검색만으로는 사용자의 검색 의도, 문맥, 의미를 커버하기 어려워 벡터 검색을 결합했다.
하이브리드 검색은 정확도는 키워드 검색이, 맥락 파악은 벡터 검색이 담당하는 역할 분리 구조다.
임베딩 모델로 OpenAI text-embedding-3-small을 선택했다.
OpenAI 임베딩 API 장애가 빈번했고, 인프라 전체 다운으로 모든 요청 처리가 불가했던 사례도 있었다.
모델 교체 시 기존 임베딩 필드를 유지하고 신규 필드에 점진적으로 채우는 마이그레이션 전략을 적용했다.

상세 정리

문제 발견: '한국어를 베트남어로 번역'이라는 검색에 번역 서비스가 나오지 않거나 '재즈 연주' 검색 결과가 비어있는 등 키워드 불일치 문제가 실제 사용자에게 영향을 줬다.
원인 분석: 단순 키워드 매칭은 검색어와 서비스 명칭이 다른 경우 사용자의 실제 의도와 의미적 연관성을 파악하지 못한다.
벡터 검색 도입: 텍스트를 임베딩 벡터로 변환해 의미가 가까운 서비스를 찾아내는 시맨틱 검색을 추가했다.
하이브리드 설계: BM25 키워드 검색의 정확도 강점과 벡터 검색의 맥락 파악 강점을 결합해 각각의 단점을 보완한다.
임베딩 모델 선택: OpenAI text-embedding-3-small을 채택했고, 비용과 성능 균형을 고려한 결정이었다.
안정성 문제: OpenAI 임베딩 API가 간헐적으로 실패했고, 심각한 경우 API 인프라 전체 다운으로 모든 요청 처리가 불가한 사례도 경험했다.
임베딩 종속성: 임베딩 벡터는 모델에 종속되어 모델 교체 시 벡터 차원이 달라져 기존 벡터와 호환되지 않는다.
점진적 마이그레이션: 모델 교체 시 기존 임베딩 필드를 그대로 유지하고, 신규 필드에 새 임베딩을 점진적으로 채운 뒤 전환하는 방식을 권장한다.
운영 교훈: 외부 임베딩 API 의존도가 높아 장애 대응 플랜과 폴백 전략이 필수적이다.