배송 완료 사진 속 객체 탐지를 통한 수기 검수 비용 줄이기

컬리 퍼플 박스 배송에서 박스·종이봉투 없이 상품만 노출된(신선도 저하 의심) 건만 사람이 확인하도록, 배송 완료 사진에서 퍼플 박스·종이봉투를 YOLOv11로 탐지해 수기 검수 비용을 줄인 사례다. Data-Centric 접근으로 라벨링 수정률을 6~7%로 억제했다.

핵심 포인트

모든 사진을 라벨링하지 않고 모델 오류만 고치는 데이터 엔진(의사 라벨→검증→수정→재학습)으로 라벨링 비용을 최소화했다.
결과 검증자(바운딩 박스 정오를 이진 분류)와 세부 수정자(부정 판정만 직접 수정)로 검토를 이원화했다.
객체 탐지 모델은 YOLOv11(Ultralytics)로 전처리·증강을 통합했다.
퍼플 박스 탐지는 배송 기사 기록과 91.3% 일치했고, 갈린 8.7% 중 모델이 7.3% 정확·인간 1.4% 정확이었다.
결과는 수기 검수 93% 감소, 비닐 상태 배송 탐지 추가로 99.8% 감소·비닐 배송 25% 감소다.

상세 정리

배경: 퍼플 박스를 안 내놓으면 종이봉투로 대체 배송하는데 상품만 그대로면 신선도 저하 위험이 커 빠른 확인이 필요하나 수기 검수 비용이 컸다.
목적: 퍼플 박스·종이봉투를 탐지해 배송 현황을 자동 파악하고, 둘 다 없어 신선도 저하가 의심되는 건만 사람이 확인하게 했다.
데이터 엔진 Step 1: 라벨 없는 이미지에 클래스·바운딩 박스 의사 라벨을 생성하고 재학습 주기마다 1일 수집분 단위로 추론한다.
Step 2: 결과 검증자가 의사 라벨 정확성을 긍정/부정 이진 분류하고, 세부 수정자가 부정 라벨의 박스를 직접 수정한다.
Step 3: 개선 데이터를 학습셋에 추가해 재학습한다.
검증 분업 효과: 정오 판정은 검증자, 박스 수정은 수정자로 나눠 라벨링 비용을 낮추고 처리량을 높였다.
점진적 개선: 정해진 라벨링량이 아니라 목표 성능에 이를 때까지 반복 학습하는 전략을 택했다.
모델: YOLOv11을 채택하고 Ultralytics로 전처리·증강을 통합했다.
퍼플 박스 성과: Precision 0.9891→0.9992, Recall 0.8677→0.9792, 의사 라벨 중 박스 직접 수정이 7%에 불과했고 초기 모델은 리뷰 도메인 기존 모델을 활용했다.
종이봉투 성과: Precision 0.8334→0.9694, Recall 0.7605→0.9258, 초기 275장 직접 라벨링, 수정률 6%.
AI vs 인간: 퍼플 박스 판정이 배송 기사 기록과 91.3% 일치했고, 의견이 갈린 8.7% 중 모델이 7.3%·인간이 1.4% 정확해 모델 신뢰도가 사람보다 높았다.
도메인 적응: 리뷰 이미지의 퍼플 박스는 가려짐이 드문데 배송 사진은 가려진 경우가 잦아 도메인 적응으로 가려진 객체 탐지 성능을 높였다.
한계·개선: 라벨링 결과 전달이 수작업이라 MLOps 전체 주기 설계가 필요하고, Objectness score 기반 필터링은 라벨링 비용을 줄이나 고신뢰 오탐 위험이 있다.
운영 성과: 퍼플 박스·종이봉투 검수 제외로 수기 검수 93% 감소, 남은 7% 중 비닐 상태 배송 탐지를 추가해 99.8% 감소, 비닐 배송 25% 감소로 서비스 품질을 개선했다.