컴투스 Hive 애널리틱스가 게임 유저를 행동 패턴으로 분류하는 지표를 BigQuery ML 로 만들고 MLOps 파이프라인으로 운영하는 과정을 소개한다. 활동력과 구매력을 각각 K-means 로 클러스터링해 6개 유형을 만들고, 분류 결과가 이후 30일 행동과 실제로 일치하는지 사후 분석으로 검증했다.
핵심 포인트- 진성 유저를 특정할 명확한 기준을 정하기 어려워 라벨이 필요한 지도 학습 대신 비지도 학습을 골랐다.
- 수집 데이터가 전부 BigQuery 에 있어 BigQuery ML 을 택했다. 대용량 데이터를 밖으로 내보낼 필요가 없고 하이퍼파라미터 튜닝과 전처리를 자동으로 해준다.
- 게임별 커스텀 데이터 대신 모든 게임에 공통으로 발생하는 로그인, 플레이타임, 광고 시청, 푸시, 구매 데이터를 썼다.
- 활동력은 접속일 기준 이전 3일 데이터로, 구매력은 최초 접속부터 기준일까지의 생애 데이터로 학습한다. 구매는 지속적 반응을 봐야 한다는 판단이다.
- 클러스터 개수는 크게 잡으면 해석이 어려워져 제한을 뒀고, 활동력과 구매력 결과를 조합해 최종 유형을 정한다.
상세 정리- 문제의식은 행동 패턴이 제각각인 유저에게 획일적인 마케팅을 하는 것이 비효율적이라는 점이다.
- Hive 게임 SDK 를 연동하면 로그인과 구매 같은 기본 로그가 자동 수집돼 데이터 수집 단계는 수월했다.
- 활동력 피처는 3일간 일 평균 로그인 횟수와 시간대별 게임 플레이타임 평균 등이다.
- 구매력 피처는 최초 접속부터 첫 구매까지 걸린 일수, 총 과금 건수, 과금 1회당 평균 금액이다.
- 클러스터 해석은 중심점 정보로 한다. 활동력 쪽은 접속 일수와 횟수가 비슷해도 평균 플레이타임에서 크게 갈리는 그룹이 나왔다.
- 구매력 쪽은 첫 구매까지의 시간과 과금 규모가 함께 움직였다. 첫 구매가 가장 빠른 그룹이 과금액과 건수도 가장 많았다.
- 일 활성 유저 분포를 보니 활동력과 구매력이 모두 높은 유저는 0.6퍼센트, 활동력이 낮고 비구매인 유저는 39.2퍼센트로 가장 많았다.
- 사후 검증은 6월 2일 활성 유저를 두 유형으로 나눠 이후 30일을 추적하는 방식으로 했다.
- 결과는 분명했다. 활동력과 구매력이 높은 유형은 대다수가 28일 이상 접속했고, 활동력이 낮고 비구매인 유형은 대다수가 하루도 접속하지 않고 이탈했다.
- 보상형 광고 시청 횟수와 평균 플레이타임, 재구매율과 구매 전환율, 결제 유저 1인당 평균 결제 금액 모두 상위 유형이 앞섰다.
- 여러 차례 실험에서 같은 트렌드가 유지되는 것을 확인하고 서비스화를 결정했다.
- 운영은 MLOps 개념을 따라 지속적 통합과 배포는 GitLab 과 Jenkins 로, 지속적 학습은 파이프라인 스케줄링으로 처리한다. 학습과 서빙 파이프라인은 분리해 운영한다.
- 배포된 소스는 Google Cloud Build 를 거쳐 Kubeflow 환경에서 실행 가능한 형태로 빌드된다.
- 학습 파이프라인은 주 1회 돌며 데이터 추출, 활동력과 구매력 모델 각각 학습, 모델 검증, 모델 평가, 평가 결과 저장 순으로 진행된다. 학습이 정상적으로 되지 않으면 개발자에게 알림이 간다.
- 모델 평가는 데이비스-볼딘 지수와 평균 제곱 거리, 클러스터별 반지름 수치를 기준으로 한다. 결과는 BigQuery 테이블에 저장돼 태블로 대시보드로 추이를 본다.
- 서빙 파이프라인은 전날 활성 유저를 대상으로 하루 한 번 분류를 수행하고 오전에 결과를 볼 수 있게 한다.
- 학습 주기가 오기 전 출시된 신규 게임은 학습된 모델이 없으므로 서빙 파이프라인 안에서 별도로 학습을 수행한다.
왜 읽나유저 세그먼트를 만들고 싶지만 라벨도 전용 ML 인프라도 없는 팀에게, 데이터 웨어하우스 안에서 클러스터링을 돌리고 운영까지 자동화한 전체 그림을 보여주는 사례.
컴투스·
Stack Overflow Blog·
LINE Engineering·
AWS Korea Tech·