Fine-tuning 없이, 프롬프트 엔지니어링으로 메뉴 이미지 검수하기 #우아콘2024 #우아한형제들

우아한테크·woowacon-2024 ·2024년·

#prompt-engineering#multimodal-llm#generative-ai#machine-learning-operations#image-moderation#structured-output

AI 요약

하루 1만 건 넘게 올라오는 배달의민족 메뉴 이미지는 고객 대다수가 가게 선택의 근거로 삼는 정보지만, 그동안 검수 센터의 수작업을 기다려야 했다. fine-tuning 대신 multimodal GPT와 prompt engineering만으로 다양한 반려 정책을 자동 검수한 과정을, 실패 사례와 100번의 정책 수정을 따라가며 풀어낸다.

핵심 포인트

새로운 음식·촬영 맥락처럼 정책별 학습 data가 희소한 문제 때문에 정책마다 task-specific model을 만드는 대신, 하나의 multimodal foundation model이 이미지 맥락과 여러 정책을 함께 해석하도록 prompt로 지시하는 접근을 택함
부정문 중첩으로 정상 이미지를 반려하거나 흐릿한 질감·포장 문구를 위반으로 오해하는 실패를 고치고, 개인정보 범위·합성/collage·음료와 sauce 예외 등을 세부 정책으로 분리하며 유관 부서와 정의를 맞춰 약 100회 수정 — prompt engineering이 곧 문제·정책 합의 과정임을 보여줌
응답을 JSON mode로 구조화하고 낮은 temperature·top-p와 이미지 설명 후 판단하는 chain-of-thought로 일관성 확보, 한글 prompt를 영어로 바꿔 token을 약 1.7배 최적화, 정밀 object detection은 별도 fine-tuned model, 저작권 판단은 사람 검수로 분기해 기존 검수 시간을 99.98% 단축

왜 읽나fine-tuning 없이 LLM prompt만으로 희소·다양한 판정 업무를 실서비스에 올리려는 팀에게, 정책 구체화·구조화 출력·비용 최적화·hybrid 분기를 엮는 실전 레퍼런스.

챕터별 상세

010:43 – 2:54

하루 1만 건 메뉴 이미지 검수의 병목

메뉴 이미지는 고객 10명 중 9명 이상이 가게 선택에 중요하다고 답한 정보지만, 사장님이 올린 이미지는 검수 센터의 수작업을 기다려야 했다. 하루 1만 건 이상이 들어오고 주말·명절에는 등록이 더 늦어지는 데다 단순 text 반려 사유만으로 정책을 이해하기 어려워, 빠른 판정과 구체적인 설명을 함께 제공하는 자동 검수 과제가 시작됐다.

새롭거나 특이한 음식, 그릇·도마·호일처럼 촬영 맥락이 다양한 이미지는 정책별 학습 data가 희소해 task-specific model을 fine-tuning하기 어렵다. 정책마다 별도 model을 만들면 종류와 운영 비용도 불필요하게 늘어나므로, 하나의 multimodal foundation model이 이미지 맥락과 여러 정책을 함께 해석하도록 prompt로 지시하는 접근을 선택했다.

GPT API의 system instruction, prompt와 completion, 최대 출력 token, temperature와 top-p가 각각 모델의 역할·입력·출력 길이·무작위성을 어떻게 제어하는지 설명한다. 사실 기반의 이미지 검수에서는 원하는 응답 형식과 행동 지침을 명확히 쓰고 결정성을 높이는 parameter를 선택해야 하며, 이 기본 요소를 바탕으로 실제 정책 prompt를 prototype하고 개선한다.

GPT가 합성 요소와 미완성 조리를 이미지 맥락으로 설명하는 가능성을 확인한 뒤, 부정문이 중첩돼 정상 이미지를 반려하거나 흐릿한 음식 질감과 포장 문구를 위반으로 오해하는 실패를 고친다. 개인정보 범위, 합성·collage·왜곡, 음료와 sauce 같은 domain 예외를 세부 정책으로 분리하고 유관 부서와 정의를 맞추며 약 100회 수정해, prompt engineering이 곧 문제와 정책을 정교하게 합의하는 과정임을 보여준다.

응답은 JSON format과 JSON mode로 구조화하고 낮은 temperature·top-p와 이미지 설명 후 판단하는 chain-of-thought로 일관성을 높이며, 비용이 큰 ensemble 대신 앞의 두 방법을 택했다. 한글 prompt를 영어로 바꿔 GPT-4 기준 token을 약 1.7배 최적화하고 출력·UX latency도 줄였으며, GPT-4o 전환 때는 prompt를 다시 tuning했다. 정밀 object detection은 별도 fine-tuned foreground model, 최신 저작권 판단은 사람 검수로 분기해 자동 검수를 출시하고 기존 시간을 99.98% 단축했다.