합성 데이터 없이 로봇 월드 모델을 학습하는 방법

단안 카메라 영상 하나로 로봇이 쓸 3D 월드 모델을 만드는 파이프라인 F.R.A.N.T.Z. 를 다룬다. 기존 VLA(Vision-Language-Action) 모델이 수백만~수십억 건의 합성 데이터를 요구하는 것과 달리, 사전학습된 AI 모듈을 고전 컴퓨터 비전으로 엮어 도메인 학습 데이터 0건으로 동작한다. 추론도 수십 MB ONNX 모델과 약 5W 전력으로 엣지에서 돌아간다.

핵심 포인트

VLA 의 세 가지 한계를 정면으로 겨냥한다: 대규모 합성 데이터 의존, sim-to-real 격차, 수십억 파라미터 블랙박스라 실패 원인을 못 짚는 문제
단일 모델 대신 마이크로서비스식 조합 — MiDaS 깊이 추정, YOLO 객체 탐지, MediaPipe 손 랜드마크, DeepLab 시맨틱 분할을 ORB 매칭·옵티컬 플로우·RANSAC 평면 피팅·역운동학으로 묶는다
제로샷의 정의를 바꾼다: 기존 VLA 가 프롬프트 수준(새 명령만 미학습)이라면 여기서는 데이터 수준(도메인 예시 0건)이다
출력은 3d_structures.npz 단일 파일 — 최대 50만 점 메트릭 포인트 클라우드, COCO-80 기반 3D 바운딩박스, 평면 구조, 손목 궤적을 담는다
추론 연산이 400~800억 파라미터에서 수십 MB ONNX 로, 전력이 데이터센터 클러스터에서 약 5W 로 내려간다

상세 정리

문제 정의: VLA 계열은 학습에 수백만~수십억 건의 합성 데이터가 필요하고, 시뮬레이션과 실제의 격차가 그만큼 커진다
진단 불가 문제: 실패해도 수십억 파라미터 안에서 원인을 특정할 수 없어 디버깅 경로가 없다
접근 전환: 하나의 거대 모델을 학습시키는 대신, 이미 학습된 인식 모듈을 고전 CV 로 조합하는 마이크로서비스 구조를 택했다
깊이 추정: MiDaS 로 단안 영상에서 깊이를 뽑되, 손이 등장하면 10프레임, 정적 장면이면 20프레임으로 실행 주기를 적응적으로 조절한다
시맨틱 활용: DeepLab 분할 결과로 전역 모션을 보정하면서 손 움직임을 걸러내, 카메라 이동과 피사체 이동을 분리한다
구조 복원: 키프레임 기반 SfM(Structure-from-Motion) 파이프라인으로 3D 구조를 세운다
손 추적: MediaPipe 로 손당 21개 랜드마크를 잡아 3D 손목 궤적과 팔꿈치 위치까지 복원한다
출력 포맷: COLMAP 형식도 함께 내보내 3D 가우시안 스플래팅으로 이어붙일 수 있다
객체 표현: COCO-80 온톨로지 기준으로 3D 바운딩박스와 시간축 추적을 함께 저장한다
해석 가능성: 모듈이 분리돼 있어 어느 단계에서 틀렸는지 개별 검사가 가능하다
하드웨어 함의: Graviton 기반으로 비용을 낮추고, 엣지 디바이스에서 약 5W 수준으로 돌린다
일반화 주장: 사람의 단 한 번 시연에서 임의의 합성 환경으로 확장 가능한 로봇 정책을 얻는 것이 목표다

왜 읽나로보틱스나 3D 인식을 다루면서 대규모 학습 데이터 확보가 막힌 팀에게, 사전학습 모듈 조합으로 우회하는 구체적 설계도를 준다.

AWS Korea Tech 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

합성 데이터 없이 로봇 월드 모델을 학습하는 방법

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기