DB / 데이터·

다나와·2023년

다나와의 상품 데이터 여정

다나와가 컴퓨터 부품부터 식품까지 수억 건의 상품 데이터를 어떻게 수집·분류·연결·검색 가능하게 만드는지 내부 데이터 파이프라인 구조를 설명한다. 수집(collector) → 분류(classifier, ML 기반) → 수동 보정(office) → 검색(search)로 이어지는 4단계 파이프라인과 각 단계의 역할을 공유한다. 머신러닝 기반 자동 분류와 형태소 분석 기반 검색 최적화를 핵심 기술로 활용한다.

핵심 포인트

수억 건 규모의 이기종 상품 데이터를 단일 파이프라인으로 처리
분류기(classifier)는 ML로 자동 카테고리 배정·연동 상품 식별·최저가 갱신
수동 보정 레이어(office)로 미분류 상품을 카테고리 매니저가 직접 처리
검색(search)은 형태소 분석과 상품명 가공으로 비연동 상품의 탐색성 확보
일반 상품·연동 상품·비연동 상품 세 가지 타입으로 상품 유형 분리
파트너사 데이터는 MB~GB 단위로 collector가 대량 수집

상세 정리

일반 상품(standard): 다나와 자체 큐레이션 상품 목록
연동 상품(linked): 표준 상품과 연결되어 판매자 직접 링크 포함
비연동 상품(unlinked): 검색 결과 기반, 판매사 직접 접근
collector: 파트너사로부터 MB~GB 단위 상품 데이터 대량 수집
classifier: ML 모델로 대·중·소·세부 카테고리 자동 배정
classifier: 연동 상품 자동 식별, 빠른배송 플래그, 최저가 갱신 처리
office: 미분류 상품 수동 처리, 상품 연동 수동 설정, 가격 수정
office: 변경사항을 전체 서비스로 브로드캐스트
search: 형태소 분석과 상품명 가공으로 비연동 상품 검색 정확도 향상
파이프라인 출력이 다나와 전체 서비스(페이지 노출)에 연결

왜 읽나수억 건 규모의 이커머스 상품 데이터를 ML 분류와 수동 보정 레이어로 통합 관리하는 데이터 파이프라인 아키텍처 사례.

다나와 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

·takedown 요청

이 글과 비슷한