AI 시대 디자이너의 실험: 사용자 행동 분석에 AI를 활용해 보기 | 인프콘2024

인프런 inflearn·인프콘 2024 2024·2024년·

#figma#design-tools#ai#prototyping#usability-testing#gpt-4-vision

AI 요약

사람처럼 화면을 보고 클릭·스크롤하는 AI 에이전트를 Figma 프로토타입 사용성 테스트에 붙여본 디자이너들의 자발적 실험에서 출발한다. GPT-4 Vision 기반 에이전트로 사용성 문제를 찾는 가능성과, 이를 플러그인으로 공개하기까지의 한계를 솔직하게 따라간다.

핵심 포인트

회사 과제가 아니라 생성형 AI를 디자인 과정에 어떻게 쓸지 궁금해한 디자이너들의 실험으로 시작해, 화면을 이해하고 탭·스크롤하는 Tencent AppAgent 논문에서 실마리를 얻음
공개 AppAgent 코드를 고쳐 Figma URL·과제·페르소나를 받는 Python 프로토타입을 만들고, 에이전트가 GPT-4 Vision으로 화면을 관찰·판단·실행하며 전후 이미지를 비교하는 루프와 선택 이유를 Markdown·PDF 보고서로 기록
펼쳐질 것 같은 카드를 눌렀지만 연결이 없어 실패하며 누락된 인터랙션을 발견하고, 탭처럼 보이는 버튼을 반복해 눌러 사람도 혼동할 시각적 문제를 드러내는 등 학습된 앱 패턴 기반의 실사용자 유사 행동을 확인
Python 설치 장벽 피드백을 받아 GPT 도움으로 JavaScript·TypeScript Figma 플러그인 Instant UT로 옮겨 OpenAI API 키로 바로 시험 가능하게 했지만, Figma 프로토타입 API 제약으로 현재는 한 화면만 분석

왜 읽나AI를 사용자 리서치에 실험적으로 활용하려는 디자이너에게 GPT-4 Vision 에이전트의 관찰-판단-행동 루프와 실제 발견 사례, 그리고 API 한계·오픈소스 협업 과제까지 가감 없이 전하는 주말 프로젝트 기록.

챕터별 상세

010:05 – 2:37

AI가 수행하는 Figma 사용성 테스트

그랩의 두 디자이너는 인간 행동을 모방하는 AI가 Figma 프로토타입에서 주어진 과제를 수행하고 사용성 문제를 보고하도록 만들었다. 가장 싼 호텔 찾기 같은 태스크와 언어 능력 등의 페르소나를 입력하면 에이전트가 화면을 이동하며 헷갈린 요소와 판단 과정을 남긴다. 실험 결과를 누구나 써 볼 수 있도록 Figma 커뮤니티 플러그인으로 공개했다.

프로젝트는 회사 과제가 아니라 쏟아지는 생성형 AI를 디자인 과정에 어떻게 활용할지 궁금해한 디자이너들의 자발적 실험으로 시작됐다. 텍스트·이미지·화면을 이해하고 사람처럼 탭과 스크롤을 수행하는 Tencent AppAgent 논문에서 기술적 실마리를 찾았다. 여러 국가에서 사용자를 섭외하고 승인받기 어려운 사내 디자이너를 인터뷰해, AI가 빠른 1차 리뷰와 아이디어 비교를 돕는 테스트 단계에 가치가 있다고 판단했다.

공개 AppAgent 코드를 수정해 Figma URL, 사용자 과제와 페르소나를 받는 Python 프로토타입을 만들었다. 에이전트는 GPT-4 Vision으로 화면과 UI 요소를 관찰하고 다음 행동을 판단한 뒤 클릭·스와이프를 실행하며 전후 이미지를 비교한다. 성공하면 다음 단계로 가고 실패하면 다시 판단하는 루프를 반복하며 각 선택의 이유와 결과를 Markdown 또는 PDF 보고서로 기록한다.

AI는 펼쳐질 것으로 보이는 카드 영역을 눌렀지만 프로토타입 연결이 없어 실패했고, 이를 통해 개발 전에 빠질 수 있는 인터랙션을 발견했다. 호텔 상세 화면에서는 탭처럼 보이는 버튼을 반복해서 눌러 사람도 혼동할 수 있는 시각적 문제를 드러냈다. 다음 화면을 주지 않아도 객실 수 영역을 누르면 조정 UI가 나타날 것이라고 추론하는 모습은 학습된 앱 패턴을 바탕으로 실제 사용자와 비슷한 행동을 만들 가능성을 보여 줬다.

Python 환경 설치가 디자이너에게 큰 장벽이라는 피드백을 받고 GPT의 도움으로 코드를 JavaScript·TypeScript 기반 Figma 플러그인으로 옮겼다. 공개한 Instant UT 플러그인은 OpenAI API 키로 바로 시험할 수 있지만 Figma 프로토타입 API 제약 때문에 현재는 한 화면만 분석한다. 발표자들은 필요한 API를 Figma에 요청하고 소스 코드도 공개해, 사용자 피드백과 개발자 기여로 주말 프로젝트를 계속 발전시키려 한다.