VPT: 다이아몬드 곡괭이를 만들기 위한 여정

OpenAI의 Video PreTraining(VPT)이 입력 로그 없는 마인크래프트 영상에서 행동 데이터를 복원하고, 모방 학습과 강화 학습을 결합해 다이아몬드 곡괭이를 만드는 에이전트를 만든 과정을 해설한다. 희소 보상과 긴 선행 작업, catastrophic forgetting이라는 난제를 데이터 구축과 학습 단계별 설계로 푼 연구다.

핵심 포인트

마인크래프트 영상은 많지만 키보드·마우스 입력이 없어 그대로는 모방 학습용 replay로 쓸 수 없다.
2천 시간의 화면·입력 쌍으로 Inverse Dynamics Model을 학습하고, 이 모델로 온라인 영상에 행동을 붙여 7만 시간 replay를 만들었다.
720개 V100을 9일간 사용한 video pretraining으로 나무 수집, 제작대 생성, 사냥과 기둥 점프 같은 게임 기본기를 학습했다.
소규모 인간 시연과 자동 수집 영상을 이용한 behavioral cloning으로 나무·돌 도구 제작 능력을 추가했다.
보상 설계와 KL-divergence 제약을 사용한 강화 학습 끝에 248M 모델이 2.5% 확률로 다이아몬드 곡괭이를 만들었다.

상세 정리

강화 학습 배경: 탐색은 더 좋은 행동을 찾지만 단기 손실이 크고, 활용은 알려진 최선만 반복한다. 초기 시행착오를 줄이려면 사람이나 다른 모델의 replay를 모방하는 것이 유리하다.
데이터 부재: 바둑·RTS는 행동 로그가 있지만 마인크래프트는 공유 가능한 replay를 기본 제공하지 않는다. 영상에는 대응 입력이 없다.
목표 모호성: 샌드박스 게임이라 플레이어마다 행동 방향이 다르고 정석 신호가 약하다. 다이아몬드 곡괭이까지 선행 제작 단계도 길다.
망각 문제: 새로운 제작 단계를 배우는 동안 이전 단계 수행법을 잊으면 긴 작업 사슬을 완성할 수 없다.
IDM 데이터: 전용 녹화 모드를 설치한 플레이어에게 게임을 시켜 매 tick의 화면과 입력을 기록했고 총 2천 시간을 확보했다.
역행동 예측: IDM은 현재 화면뿐 아니라 미래 화면도 참고해 어떤 입력이 있었는지 예측한다. 영상만 있는 데이터에 가상 행동 label을 붙일 수 있다.
영상 정제: 실제 실행 환경과 같은 버전·모드·기기의 생존 영상을 검색하고, CLIP 표현을 쓴 SVM으로 중계 화면이나 mod 영상 등을 제거했다.
대규모 replay: 정제 영상에 IDM을 적용해 총 7만 시간의 화면·행동 데이터셋을 만들었다.
사전 학습: 행동의 negative log-likelihood를 줄이도록 720개 V100에서 9일간 훈련했다. Zero-shot 모델은 기존 강화 학습보다 빠르게 나무와 제작대를 얻었다.
기본기 관찰: 사람의 시간당 제작대 5.44개보다 낮은 0.19개였지만 사냥, 채집, 기둥 점프처럼 명시하지 않은 행동도 재현했다.
행동 복제: 10분 안에 기본 재료로 집을 짓는 contractor_house와 초기 플레이 영상을 자동 선별한 earlygame_keyword 데이터로 fine-tuning했다.
데이터 품질: 인간 지시 데이터가 더 효과적이었지만 자동 데이터는 적은 비용으로 대량 확보할 수 있어 혼합 시 성능 향상에 기여했다.
강화 학습: 상위 제작물을 만들수록 큰 보상을 주고 하위 아이템 반복 보상에는 한도를 둔 뒤 약 130만 episode를 학습했다.
망각 억제: 무작위 초기화와 단순 VPT fine-tuning은 실패했다. 새 정책이 기존 정책에서 멀어지지 않도록 KL loss를 추가해 기본기를 유지했다.
최종 결과: 248M 모델이 다이아몬드 곡괭이를 2.5% 확률로 제작해, 비정형 영상도 행동 학습 데이터로 전환할 가능성을 보였다.