실시간 추천 시스템 구축하기 | 인프콘2023

기존 추천 흐름을 데이터 관점에서 점검한 뒤 실시간 시스템의 문제를 이벤트 정의, 스트림 처리, 추천에서의 활용이라는 세 단계로 나눈다. 먼저 추천에 필요한 행동 로그를 일관된 규격으로 만들고, 수 초 이내에 변환해 온라인 저장소에 적재하는 파이프라인을 설계한다. 마지막으로 모델이 피처를 안정적으로 읽는 경로까지 함께 구성해야 실시간성이 제품 경험으로 이어진다.

웹·모바일 앱·브라우저 확장 프로그램은 화면과 배포 주기가 다르고 UX도 자주 바뀌므로 플랫폼별 로그를 그대로 쓰면 분석과 모델 입력이 쉽게 깨진다. 링크드 데이터의 actor·verb·object 개념을 응용해 user·action·resource를 공통 필드로 두고 세부 정보는 JSON 속성에 담는다. 화면 구현보다 사용자의 행동 의미를 중심으로 추상화해 새 기능과 플랫폼이 추가되어도 같은 파이프라인에서 처리할 수 있게 한다.

하루치 데이터를 모으는 배치 방식은 운영이 익숙하고 단순하지만 세션 추천이 요구한 3초 이내 반영 시간을 만족하지 못한다. 기존 GCP 환경과 작은 데이터 팀의 운영 여력을 고려해 배치·스트림을 같은 모델로 다룰 수 있는 Apache Beam과 관리형 실행 환경 Dataflow를 선택한다. 직접 클러스터를 관리하지 않으면서 이벤트를 검증·변환·집계해 기존 Airflow 중심 경로보다 빠르게 피처를 공급한다.

분석용 BigQuery는 추천 요청마다 낮은 지연으로 읽기에 적합하지 않아 대규모 읽기·쓰기를 안정적으로 처리하는 Bigtable을 온라인 저장소로 채택한다. Feast의 구조를 참고한 Feature Read API가 모델과 저장소를 분리하고, 행동 로그부터 스트림 집계와 피처 조회를 거쳐 추천까지 이어지는 흐름을 완성한다. 세션 기반 모델은 다른 모델보다 높은 클릭률을 기록했으며, 범용 플랫폼을 그대로 복제하기보다 제품 규모와 운영 역량에 필요한 구성만 선택하라는 교훈을 남긴다.