LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

컬리가 상품 리뷰 요약 LLM 서비스를 만들며 진행한 1부로, 여러 리뷰 중 유용한 정보를 담은 리뷰를 선별하는 실험을 다룬다. 베스트 리뷰 요약의 한계에서 출발해, LLM에 선별자 역할을 주고 Reasoning·CoT로 판정 정확성과 투명성을 높인다.

핵심 포인트

검수된 베스트 리뷰만 요약하면 대상 상품이 한정적이고(범용성), 최신 정보를 반영하지 못하는(시의성) 한계가 있어, 더 넓은 리뷰에서 유용한 것을 선별할 필요가 생겼다.
선별 조건(최신성·관련성·부정후기·정보 제공도)을 LLM이 true/false로 판정하게 하되, 결과만 받으면 신뢰가 어려워 판단 근거(reason)를 함께 응답하도록 했다.
Reasoning(근거 명시)은 재검토·논리 일관성·오류 감지 기회를 줘 정확도를 높이고, 근거를 운영자가 모니터링해 잘못된 케이스를 선별·개선하는 투명성을 확보한다.
크고 모호한 검수 task를 세부 검증 단계로 쪼개는 CoT(Chain of Thought)로 판정 정확성을 더 높였다.

상세 정리

기획 배경: 리뷰엔 맛·소비 상황·레시피 등 상품 상세보다 풍부한 정보가 있어, 이를 요약해 구매 결정을 돕는 서비스를 구상했다.
1차 시도(베스트 리뷰 요약): 검수된 베스트 리뷰를 요약했으나 (1) 베스트 리뷰 있는 상품이 적고, (2) 1개뿐이면 요약이 원문과 동일하며, (3) 주 1회 갱신이라 시의성이 부족한 한계가 드러났다.
남은 과제: 요약 대상을 확장하고, 그중 유용한 정보를 가진 리뷰를 선별하는 것.
선별의 어려움: 최신성은 기간 필터로 되지만 관련성·부정 여부·정보 제공도는 문맥 파악이 필요해 기존엔 ML 모델 구축이 필요했다.
실험1(단순 필터링): LLM에 조건 충족 시 true/false 판정을 시켰더니 명확한 리뷰는 잘 걸러냈으나, 결과만으론 신뢰성을 확신하기 어려웠다.
실험2(Reasoning): 결론과 함께 이유를 응답하게 하자 "다른 상품 언급/구체 속성 부족" 같은 근거가 붙어 판정의 정확성과 투명성이 올라갔다.
CoT 적용: 리뷰 분석가 역할을 부여하고 검증 단계를 순서대로 명시(다른 제품 리뷰 포함 여부 등)해 단계별로 통과 여부와 근거를 응답하게 했다.
CoT 개념: 문제 해결 과정을 세분화된 단계로 명시하는 기법으로, 예시를 함께 주면 Few-Shot, "think step by step"만 주면 Zero-Shot CoT라 부른다.
1부 결론: LLM이 기존에 데이터 사이언스 리소스가 필요하던 비정형 텍스트 분석을 쉽게 대체하고, Prompt Engineering과 Reasoning이 정확성·신뢰성·해석 가능성의 핵심임을 확인했다. 2부는 요약 서비스 설계·구현을 다룬다.