[NHN FORWARD 22] 정말 마케팅 때문에 매출이 증가했을까?: 페이코 쿠폰 마케팅 타깃 선정 전략 수립 및 효과 분석

알림을 받았을 때와 받지 않았을 때의 쿠폰 사용 차이를 예측하려면 업리프트 모델이 필요하고, 이를 학습하려면 무작위로 나눈 처치군과 대조군에서 얻은 실험 데이터가 필수임을 설명한다. 다만 전체 유저 대상 실험은 운영상 부담이라 대안이 필요하다는 문제로 이어진다.

실험 데이터가 없을 때는 과거 데이터로 결제 예측 모델을 만들어 대신한다. XGBoost 출력을 캘리브레이션 플롯·브라이어 스코어로 확률처럼 보정한 뒤, 캠페인 비용과 결제 확률을 함께 계산해 예상 순이익이 양수인 유저를 타깃으로 선정하는 방법을 예시로 보여준다.

두 번째 발표자가 실험 데이터가 있을 때의 접근을 이어받는다. 업리프트는 알림으로 인한 쿠폰 사용 확률의 변화량을 뜻하며, 대조군과 처치군 결과를 유사한 유저끼리 비교해 특정 유형의 사용률이 몇 %p 오르는지 직접 예측할 수 있음을 설명한다.

업리프트 모델에서도 예상 순이익 관점을 적용해, 알림을 보냄으로써 늘어나는 평균 이익을 계산한다. 업리프트 스코어가 높은 순으로 누적합을 구해 순이익이 최대가 되는 지점까지를 타깃으로 잡고, 결제 예측 모델과 업리프트 모델을 함께 활용하는 전략을 제시한다.

타깃군에 처치군을 몰아주면 그룹이 공정하지 않아 사용률 차이가 곧 캠페인 효과가 아니게 된다. 이 선택 편향을 처치·대조군 배정 확률의 역수를 가중치로 주는 IPW(역확률 가중)로 보정해, 전체에 알림을 보냈다면 얻었을 효과를 추정하는 방법을 소개한다.

전체 대상 효과와 타깃 그룹만의 효과를 비교하면 값이 5배 이상 차이날 수 있어, 어떤 데이터로 평가하느냐에 따라 타깃팅이 성공인지 실패인지 해석이 달라짐을 짚는다. 실험 데이터 유무에 따른 두 접근을 정리하며 발표를 맺는다.