대화형 AI에 화면을 인식하고 클릭·스크롤·입력하는 능력을 더해, 사용자 목표와 screenshot을 해석해 목표 달성까지 동작을 반복하는 카카오 GUI Agent의 개발기다. UI 요소를 좌표로 찾는 grounding과 여러 단계를 짜는 planning을 어떻게 데이터와 학습으로 끌어올렸는지 따라간다.
핵심 포인트- 포맷·action space가 제각각이고 자동 생성 오답과 영어 편중이 큰 공개 GUI 데이터를, call-user·fail·finish를 포함한 공통 action contract로 변환하고 강한 모델로 판정해 약 10.1% 교체·7.5% 삭제, 한국 사이트는 LLM이 만든 task 후보를 사람이 전용 도구로 labeling
- SFT 시 모델·데이터의 절대·상대 좌표계를 통일하지 않으면 학습이 무너졌고, 중심점 하나만 외우는 방식은 실제 클릭 가능한 여러 좌표를 일반화하지 못해 — bounding box 안 성공 가능 영역을 heatmap soft target으로 만들고 cross-entropy와 KL loss를 결합
- SFT 모델을 초기 policy로 여러 행동을 on-policy sampling한 뒤 정답 영역 클릭 여부처럼 자동 검증 가능한 결과로 보상하는 RLVR을 도입, single-turn은 즉시 action·multi-turn은 reasoning과 단계별 action을 학습 — ScreenSpot Pro와 카카오 한국형 benchmark에서 SFT보다 적은 시도로 높은 정확도
- 남은 과제는 한국 서비스 아이콘의 의미·맥락을 아는 도메인 지식, 세션 간 선호·성공·실패를 기억하는 장기 기억, 실패를 돌아보는 reflection, 모호한 요청 확인, MCP·API 확장
왜 읽나화면을 보고 조작하는 GUI/컴퓨터 사용 에이전트를 만들려는 팀에게 데이터 정제·좌표 학습의 함정부터 heatmap soft target과 RLVR까지 grounding·planning 개선의 실전 경로.