실시간 경로탐색에 Multi-armed Bandit 기반 강화학습 도입하기 (feat. SCI급 논문게재)

kakao tech·if(kakao)25 2025·10개월 전·

#experimentation#machine-learning#navigation#reinforcement-learning#optimization#multi-armed-bandit#route-planning

AI 요약

카카오맵 실시간 경로탐색에서 '지도에 안 적힌 도로 품질'을 운전자의 실제 선택으로 학습하기 위해 Multi-armed Bandit을 도입한 사례다. 경로 준수·이탈을 보상 신호로 바꿔 링크 비용을 갱신하고, SCI급 논문으로도 발표한 온라인 실험 결과까지 공유한다.

핵심 포인트

거리·예상 시간·도로 등급 같은 정적 비용만으로는 좁은 길·대기 행렬·운전 난이도 같은 잠재 선호를 담기 어렵고, 사람이 규칙으로 다 넣으면 유지보수·일반화의 한계에 부딪힘
추천 경로 준수/이탈을 링크별 보상으로 보고 MAB이 도로 품질을 추정하되, 로지스틱 가중치로 반복 이탈 링크 비용을 올리면서도 관측 부족·일시적 사건에 과도한 페널티가 쌓이지 않게 변화 폭을 제어
실서비스 적용 전 과거 요청·교통을 재생하는 오프라인 시뮬레이션 + grid search로 경로 변화율·준수율·계산 비용을 비교해 위험한 설정을 미리 걸러냄
수백만 건 규모 일주일 실험에서 약 11.59% 경로가 바뀌었고 변경 경로 준수율 64.2%→70.87%, 전체 준수율 68.12%→68.78%로 개선되며 다른 핵심 지표 악화는 없었음

왜 읽나추천·랭킹·경로 같은 도메인에서 사용자 피드백을 온라인 학습으로 반영하려는 엔지니어에게, 보상 설계·페널티 안정화·오프라인 검증을 아우르는 실전 사례.

챕터별 상세

010:12 – 0:55

운전자 선택에서 도로 품질을 배우는 문제

실시간 내비게이션은 단순히 최단 경로를 찾는 것이 아니라 운전자가 실제로 받아들일 만한 경로를 제시해야 한다. 지도에 명시되지 않은 좁은 길, 대기 행렬, 운전 난이도 같은 잠재 특성을 사용자 선택에서 학습해 링크 비용에 반영하는 것이 프로젝트의 목표였다.

학습 결과는 교량 진입 대기, 좁은 도로, 버스 정차 방해, 경사처럼 지도 속성만으로 잡기 어려운 요인을 비용에 반영했다. 수백만 건 규모의 일주일 실험에서 약 11.59%의 경로가 바뀌었고, 변경된 경로의 준수율은 64.2%에서 70.87%로 올랐다. 전체 준수율도 68.12%에서 68.78%로 개선되면서 다른 핵심 지표의 악화는 관찰되지 않았다.