쇼핑 280만 상품과 로컬 41만 장소에는 객체 정보는 있어도 '집들이에 어울림', '조용하고 충전 가능' 같은 맥락 레이블이 없어, 사용자 질문과 카탈로그를 같은 의미 공간에서 잇기 위한 대규모 메타데이터를 어떻게 생성·평가·운영하는지 다룬다. 데이터 생성, 반복 평가, 서비스 품질 보장이라는 세 단계로 실제 파이프라인을 해부한다.
핵심 포인트- 고정 instruction + JSON 출력 스키마로 일관성을 잡고 prefix caching으로 비용·지연을 줄이며, 상품 정보의 83%가 이미지라 텍스트는 빠른 OCR, 시각적 특징엔 VLM을 조합 — 소량 예시+대형 모델 합성 데이터+규칙 필터로 소형 모델을 SFT해 약 1천 시간 라벨링을 몇 시간으로 단축
- 정답 있는 속성은 불균형에 강한 F1로 관리해 4천 개 정답셋으로 F1 0.9 달성, 정답 없는 추천 질문은 사람 판단과 90%+ 일치하는 LLM 평가자를 만들고 불만족 사유로 프롬프트를 자동 수정·재생성하는 루프로 한 작업을 15시간→7시간으로 단축
- 파이프라인 끝의 reflection이 글자 수 위반·금지어·요구 누락을 검출해 재생성하고, 근거를 결론보다 먼저 생성시켜 사후 합리화 오류를 줄여 전체의 약 8%를 정정 — 상충 정보는 다수결·최신성·생성 보류로 처리
- 모든 요청·응답을 하나의 trace ID로 잇는 tracing과 playground로 문제 데이터를 재현·실험하고, 프로젝트·프롬프트별 비용을 집계해 개선 우선순위를 결정
왜 읽나LLM으로 대규모 메타데이터·라벨을 생성·검증해야 하는 검색·추천 팀에게 스키마·평가·reflection·tracing을 아우르는 운영 파이프라인 레퍼런스.