자율주행 AI 실차 적용기: 서비스를 위해 우리가 만들고 있는 자율주행

kakao tech·if(kakao)25 2025·10개월 전·

#mlops#transformer#computer-vision#simulation#autonomous-driving#sensor-fusion#mobility

AI 요약

자율주행 모델 하나가 아니라 차량 하드웨어·AI·관제 시스템 세 축을 함께 설계해야 실제 승객을 태우는 서비스가 된다는 관점에서 실차 적용 과정을 풀어낸다. 세 축 사이의 피드백 루프가 어떻게 신뢰도를 끌어올리는지가 이야기의 중심이다.

핵심 포인트

여러 카메라·LiDAR의 측정 시각을 하드웨어 트리거로 나노초 수준까지 맞추고, 서로 다른 센서를 조감도 좌표계 BEV로 변환·결합해 가림과 거리 오차를 보완
지도·목적 경로·주변 객체·의사결정 정보를 각각 인코딩한 뒤 Transformer가 종합해 미래 궤적과 차선 변경 기동을 예측하고, 시뮬레이션과 실도로 평가를 반복해 안전성·승차감을 함께 개선
주행 중 어려웠던 장면을 자동 탐색·인덱싱해 학습 후보로 모으고, 모델 예측을 pseudo label로, 시간축 정보를 라벨 정제에 활용해 수작업 비용을 낮추는 데이터 플라이휠 구성
관제는 배터리·센서 상태·운행 가능 영역(ODD)을 반영해 배차하고 planner 예상 시간으로 도착을 계산하며, 원격 운영자는 직접 조종보다 고수준 판단을 보조 — 발생 사건은 다시 학습 데이터로 순환

왜 읽나자율주행뿐 아니라 물리 하드웨어와 AI 모델, 운영 시스템을 닫힌 루프로 엮어야 하는 로보틱스·서비스 엔지니어에게, 모델 성능 너머의 시스템 관점을 준다.

챕터별 상세

010:10 – 2:12

서비스형 자율주행의 세 가지 축

자율주행 모델 하나만으로는 실제 승객을 태우는 서비스를 만들 수 없다. 안정적인 차량과 센서 하드웨어, 주변을 이해하고 경로를 만드는 AI 프레임워크, 배차와 상태 감시를 맡는 관제 시스템이 함께 동작해야 한다. 발표는 세 축 사이의 피드백을 중심으로 실차 적용 과정을 설명한다.

주행 중 어려웠던 장면을 자동 탐색하고 인덱싱해 학습 후보로 모은 뒤, 오프라인·시뮬레이션·차량 검증을 순차적으로 통과시킨다. 모델의 예측을 pseudo label로 활용하고 시간축 정보를 이용해 레이블을 정제해 수작업 비용을 낮춘다. 운영에서 발견한 실패가 다시 데이터와 모델 개선으로 돌아가는 순환 구조다.

관제 시스템은 배터리, 센서 상태, 운행 가능 영역인 ODD를 고려해 차량을 배정하고, AI planner의 예상 시간을 이용해 도착 시간을 계산한다. 원격 운영자는 차량을 직접 조종하기보다 고수준의 판단을 보조하며, 발생한 사건은 기록되어 다시 학습 데이터가 된다. 모델과 운영 시스템을 닫힌 루프로 연결해 서비스 신뢰도를 높인다.