왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기

문제ML 모델 성능을 계속 끌어올려도 서비스 KPI 가 움직이지 않는다. 비즈니스 목표와 학습 타겟이 어긋난 채로 잘못된 지표만 최적화하면 모델 배포 효과가 사라진다.

접근매치그룹 데이팅 브랜드 협업 사례를 통해 문제 정의 → 학습 목표 설정 → 데이터셋 구축 → 오프라인 평가 → 온라인 A/B 테스트 → 배포까지 흐름을 설계. 대표 속성(primary attribute) 선택 문제를 multi-armed bandit 대신 예측 모델로 재구성한다.

결과비즈니스 문제를 ML 문제로 정렬하는 전 과정의 체크포인트를 정립했다. 모델 metric 과 비즈니스 metric 의 연결 고리를 명시적으로 관리한다.