데이터사이언스팀의 수요예측 모델 운영과 데이터 누수(Leakage) 방지

컬리 데이터사이언스팀이 수요예측·추천 모델을 실제 현장에 배포·운영하며 배운 점을 공유한다. 특히 시계열 예측에서 흔히 놓치는 데이터 누수(Leakage) 방지를 예측 시점별로 코드와 함께 정리한 부분이 핵심이다.

핵심 포인트

팀은 권역·배송유형·상품(SKU)·온도대별로, 주문수·매출액 등 여러 타깃을, D+30에서 당일까지 여러 시점으로 나눠 수요를 예측한다.
전통 시계열(ARIMA·Prophet)보다 LGBM·Random Forest 같은 트리 기반 Regression을 시간 순서를 고려해 쓰며, 정확도는 높지만 피처 품질에 민감하다.
실전에서는 모델 개발보다 데이터 품질 이슈 대응·성능 측정·커뮤니케이션 같은 배포 후 사후 대응에 더 많은 시간이 든다.
시계열 lagging 피처는 예측 시점에 따라 Leakage 위험이 달라지므로, 당일 예측과 하루 전 예측에서 shift 시작점을 다르게 잡아야 한다.

상세 정리

예측 구조: D-day에 가까울수록 최신 데이터를 자주 반영하고 예측 주기를 짧게 운영하며, 당일 30분마다 매출·주문수를 예측해 대시보드·슬랙 봇으로 전사에 제공한다.
MLOps 기반: Feature Store·MLflow·Anomaly Detection·Airflow 배치로 예측 모델을 안정적으로 서빙하는 기반을 만든다.
사후 대응 비중: 배포 모델이 많을수록 데이터 수집·처리 누락·이상치·오염 대응, DB 구조·물류 권역·정책 변경 반영, 이벤트·명절·계절 변화 대응에 시간이 많이 든다.
성능 판단: MAPE·RMSE로 트래킹하되, 천재지변·시스템 장애로 수요가 불가능한 구간은 측정에서 제외하는 등 일괄 적용을 경계한다.
실용 관점: 과대·과소를 반반 내는 모델보다 한 방향으로 꾸준한 예측이 협업팀엔 더 유용할 수 있고, 복잡한 모델보다 단순 공식 예측이 나을 때도 있다.
모델 선택 이유: Regression은 다양한 피처를 넣을 수 있어 정확도가 높지만, 피처 수집이 부실하면 예측이 나빠져 피처 관리가 매우 중요하다.
Overfitting: 과거 특정 기간으로 학습·검증하면 실제 미래엔 성능이 낮아질 수 있어, 가중치 패널티·피처 수 축소·Cross-validation·drop-out 등으로 완화한다.
Leakage 정의: lagging 피처(Yt-1, Yt-2 등)나 강수량·기온 같은 데이터에서 자주 발생하며, 실험은 실제값을 쓰지만 배포 시엔 부정확한 예보값을 써야 하는 괴리가 있다.
당일 예측: 당일 오전에 어제까지 데이터로 당일을 예측하면 n=1 lagging도 Leakage가 없어 shift(1)부터 피처를 만들어도 된다.
하루 전 예측: 예측 수행일 데이터는 못 쓰므로 shift를 n=2부터 시작하고, rolling mean·ewm도 Yt-1이 아닌 Yt-2 기준으로 계산해야 Leakage를 피한다(학습은 예측 수행일 전날까지만 사용).
프로젝트 관리: 문제 정의·계획·결과 전달의 기본을 지키고, WBS로 요청을 분석하고 결과물 샘플을 미리 합의해 기대치를 맞춘다.