머신러닝을 활용한 검색 품질 지표 개발 (SIGIR’23 Paper Recap)

사용자 로그 신호를 머신러닝으로 학습해 검색 품질을 자동 평가하는 SQM(Search Quality Metric) 개발 사례를 다룬다. 수동 심사에 의존하던 기존 방식을 탈피해 EBM 기반 ML 지표로 대체하고 SIGIR'23에 논문으로 게재한 결과를 소개한다.

핵심 포인트

사용자 로그에서 User Success(성공 신호)와 User Effort(노력 신호)를 추출해 결합한 복합 품질 지표를 구축한다.
EBM(Explainable Boosting Model)으로 신호 간 비선형 관계를 모델링하면서 어떤 신호가 품질에 어떻게 기여하는지 해석 가능하게 유지한다.
정답형 질의(fact-seeking)와 탐색형 질의(exploratory)를 구분해 유형별 다른 품질 기준을 적용한다.
AUROC 0.68 성능을 달성했고 현재 네이버 검색 연간 품질 KPI와 온라인 실험 의사결정 지표로 활용 중이다.

상세 정리

배경: 검색 품질에는 관련성, 신뢰성, 시의성 등 다양한 척도가 있는데 수동 심사만으로는 신속하고 일관된 품질 측정에 한계가 있었다.
해결 방향: 사용자가 검색 결과에 반응하는 로그 데이터를 자동 학습 신호로 삼아 ML 기반 품질 지표를 개발하기로 했다.
User Success 신호: 클릭, 체류 시간 등 검색이 사용자에게 유용했다는 긍정 행동 로그를 수집했다.
User Effort 신호: 재검색, 검색어 수정 등 원하는 결과를 찾지 못해 추가 노력을 기울이는 부정 행동 로그를 수집했다.
질의 유형 구분: 정답형(단일 정답이 있는 질의)과 탐색형(다양한 결과를 탐색하는 질의)을 분리해 각 유형에 적합한 신호를 사용했다.
EBM 선택 이유: Gradient Boosting 기반 비선형 모델이면서도 각 피처의 기여도를 그래프로 해석할 수 있어 모델 신뢰성과 디버깅에 유리하다.
성능: AUROC 0.68로 기존 단순 지표 대비 높은 예측 성능을 달성했다.
실운영: 네이버 검색팀의 연간 품질 KPI 산출과 A/B 테스트 등 온라인 실험의 주요 의사결정 지표로 활용되고 있다.
논문 게재: 연구 결과를 SIGIR'23(정보검색 최고 학술대회)에 게재해 검증받았다.

왜 읽나사용자 행동 로그를 ML로 학습해 검색 품질을 자동 평가하는 시스템을 설계하려는 정보검색·ML 엔지니어에게 실제 운영 사례와 방법론을 참고할 수 있다.

네이버 DnA 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

이 글과 비슷한