통합 검색 임베딩 모델 개발기: 9개 태스크를 고르게 학습시키기

미리디 AI팀이 기존 태스크별 분리 모델을 하나의 통합 임베딩 모델로 합치는 과정에서 발견한 성능 불균형 문제와 해결 과정을 공유한다. 9개 검색 태스크를 하나의 Qwen3-VL-Embedding 기반 모델로 동시에 학습시키면 전체 평균은 유지되지만, 일부 태스크가 최대 34.5%p 하락하는 '평균의 함정'이 발생했다. 원인을 진단하고 쿼리 태스크 신호와 균등 배치 샘플링으로 개선한 과정을 담았다.

핵심 포인트

9개 태스크 평균 nDCG는 기존 모델과 소수 셋째 자리 차이에 불과했으나, 태스크별로 최대 +28.2%p ~-34.5%p 편차가 존재했다.
원인 1: 쿼리에 태스크 신호 부재 — 메인검색(의미 기반)과 스타일검색(시각 기반)이 같은 임베딩에 충돌하는 학습 신호를 보내 태스크 간 간섭 발생.
원인 2: 데이터 불균형 — 요소 메인검색 44% vs 요소 스타일검색 0.6%, 배치 샘플링이 대형 태스크에 치우쳐 소형 태스크의 대조학습 신호가 부실해졌다.
해결: 쿼리에 검색 대상·유형 신호 추가, 타겟에 데이터 타입 신호 추가, 균등 배치 샘플링 도입으로 태스크 불균형을 완화했다.
평가 자동화(nDCG·Precision @5/@20/@40, 9개 태스크 동시 측정)로 실험 반복 속도를 높여 개선 루프를 빠르게 돌린 것이 실질적 성공 요인이었다.

상세 정리

모델 구조: Qwen3-VL-Embedding 기반 파인튜닝. text-to-image(메인검색 3개)·image-to-image/image+text-to-image(스타일검색 6개) 통합.
평가 방법: 9개 태스크 각각에 nDCG·Precision을 @5/@20/@40 구간에서 측정, 실서비스 모델 대비 %p 변화로 비교.
첫 결과의 함정: 전체 평균이 거의 같아 초기 목표(성능 유지+운영 단순화)를 달성한 것처럼 보였지만, 태스크별로 펼치면 성공과 실패가 평균에서 상쇄된 구조였다.
원인 1 (태스크 신호 부재): '강아지' 검색 시 요소는 강아지가 중심이어야, 템플릿은 일부 포함만 해도 정답. 메인검색과 스타일검색이 같은 이미지 임베딩에 정반대 학습 방향을 요구한다.
수채화 강아지 vs 플랫 강아지 예시: 메인검색은 가까워야, 스타일검색은 멀어야 — 한 임베딩이 두 방향을 동시에 만족해야 하는 구조적 충돌.
결과로 드러난 편향: 요소 메인검색 nDCG 0.940 vs 요소 스타일검색 0.571 — 같은 이미지 임베딩이 의미 정보에 편향됐음을 확인.
원인 2 (배치 불균형): 대조학습(contrastive learning)에서 in-batch negative 품질이 결정적. 소형 태스크는 배치 내 같은 태스크 샘플이 적어 쉬운 negative만 보고 세밀한 차이를 못 학습한다.
Task Imbalance → Task Interference: 데이터 규모 차이가 학습 기회 차이로, 다시 태스크 간 간섭으로 이어진 멀티태스크 학습의 고전적 실패 패턴.
개선 방향: 쿼리에 검색 대상·유형 식별 신호를 프리픽스로 주입해 모델이 어떤 태스크를 수행하는지 명확히 인식하게 하고, 배치 샘플링을 태스크 비율 균등 방식으로 교체.

왜 읽나멀티태스크 임베딩 학습에서 평균 성능에 속지 않고 태스크별 불균형을 진단·개선하는 실전 과정이 궁금한 ML·검색 엔지니어에게.

미리디 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

통합 검색 임베딩 모델 개발기: 9개 태스크를 고르게 학습시키기

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기