COVID 이후 예측 모델이 잊어야 했던 것

Airbnb Engineering의 Harrison Katz가 예측 모델이 COVID 충격 이후 어떻게 적응해야 했는지를 다루면서, "재학습(retrain)"이라는 단일 행위를 리피팅·리스펙피팅·홀딩 세 가지로 구분하는 의사결정 프레임워크를 제시한다. 모델이 표류(drift)할 때 파라미터만 업데이트하는 게 아니라 구조적 가정을 바꿔야 할 시점을 구분하지 못하면 더 나쁜 결과를 낳는다는 것이 핵심이다.

핵심 포인트

"재학습"은 하나의 행위가 아니라 세 가지 별개의 결정이다: 리피팅(파라미터 업데이트), 리스펙피팅(모델 구조 변경), 홀딩(변경 없음).
어떤 행위를 취할지는 무엇이 변했는가에 달려 있다: 데이터 생성 프로세스가 안정적이면 리피팅, 구조적 가정이 깨졌으면 리스펙피팅, 변화가 일시적 노이즈면 홀딩.
COVID 이후 회복기에 함께 움직이던 시장들이 서로 다른 경로로 갈라지면서, 시장을 묶어 예측하던 구조적 가정이 무효화됐다.
이 경우 리피팅으로는 해결이 안 됐고, 모델 구조 자체를 리스펙피팅해야 문제가 풀렸다.
좋은 예측팀은 낡은 가정을 능동적으로 "잊는" 능력, 즉 노이즈와 진짜 구조적 변화를 구분하는 능력을 길러야 한다.

상세 정리

배경: Airbnb 예측 모델은 다양한 시장을 묶어 파라미터를 공유하는 구조로 운영됐다. 이 풀링 가정은 정상 시기엔 잘 작동했다.
COVID 충격: 팬데믹이 시장을 왜곡시키면서 예측값과 실제가 크게 어긋나는 표류(drift)가 발생했다.
표면적 해결 시도: 새 데이터로 리피팅(파라미터 재추정)을 시도했지만 예측 오차가 줄지 않았다.
근본 원인 진단: 문제는 파라미터가 아니라 구조적 가정에 있었다. 시장들이 서로 다른 회복 경로를 걷기 시작하면서 "함께 묶어야 한다"는 가정 자체가 무효가 됐다.
리스펙피팅으로 해결: 시장 풀링 구조를 바꿔 각 시장이 독립적으로 또는 더 세분화된 그룹으로 움직이도록 모델 구조를 재설계했다.
세 결정의 구분 기준: 리피팅은 구조는 맞지만 파라미터가 어긋날 때, 리스펙피팅은 구조적 가정이 깨졌을 때, 홀딩은 변화가 일시적 노이즈일 때 적합하다.
함정: "retrain"이라는 단어가 세 행위를 하나로 뭉뚱그리기 때문에, 팀이 잘못된 행위를 선택해도 그 사실을 인식하기 어렵다.
핵심 역량: 능동적으로 낡은 가정을 잊는 것 — 노이즈에 반응해 불필요하게 구조를 바꾸거나, 반대로 구조적 변화를 노이즈로 무시하는 두 극단을 모두 경계해야 한다.

왜 읽나ML 예측 모델을 운영하는 데이터 과학자·ML 엔지니어에게, 모델이 "틀릴 때" 어떤 행동을 취해야 하는지 판단하는 실용적 프레임워크.

Airbnb Engineering 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

COVID 이후 예측 모델이 잊어야 했던 것

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기