AI 크롤러의 부상 — GPTBot·ClaudeBot 트래픽 실태 분석

Vercel이 GPTBot, ClaudeBot 등 주요 AI 크롤러의 트래픽 패턴을 실측 데이터로 분석한 연구를 공개했다. 한 달간 수억 건 요청을 추적한 결과, AI 크롤러들은 JavaScript를 실행하지 못하고 URL 선택 효율도 낮아 기존 검색엔진과 구조적으로 다른 행동 방식을 보인다는 사실이 드러났다.

핵심 포인트

GPTBot 월 5억 6900만 건, ClaudeBot 3억 7000만 건 요청 — AppleBot + PerplexityBot 합산은 이미 Googlebot의 28% 수준이다.
주요 AI 크롤러 전부 JavaScript를 실행하지 않는다. JS 파일은 텍스트로 받아가지만 렌더링은 안 해 SPA/동적 콘텐츠는 AI 학습 데이터에 포함되지 않을 가능성이 높다.
ChatGPT는 HTML 요청 비율 57.70%, Claude는 이미지 비율 35.17%로 학습 데이터 수집 전략이 서로 다르다.
ChatGPT의 404 페이지 요청 비율 34.82% — Googlebot(8.22%)의 4배 수준으로 URL 선택 효율이 낮다.

상세 정리

조사 규모: Next.js 및 커스텀 프레임워크 등 다중 플랫폼에서 실제 요청 로그를 수집. 지역 분포와 검색엔진 대비 트래픽 상관관계까지 추적했다.
AI 크롤러 절대 규모: GPTBot 5억 6900만, ClaudeBot 3억 7000만 건/월. AppleBot + PerplexityBot 합산 약 13억 건으로 이미 무시하기 어려운 트래픽이다.
JavaScript 렌더링 부재: 모든 주요 AI 크롤러가 JS를 실행하지 않는다. React/Vue/Next.js 기반 동적 콘텐츠는 AI 모델 학습 데이터에서 누락될 가능성이 높다는 의미다.
콘텐츠 수집 우선순위 차이: ChatGPT는 HTML 위주(57.70%), Claude는 이미지 비중(35.17%)이 높다. 기존 검색엔진과 다른 학습 데이터 전략이 숫자로 드러난다.
404 비효율 문제: ChatGPT의 404 요청 비율(34.82%)은 Googlebot(8.22%)의 4배 이상이다. 낡은 사이트맵을 참조하거나 URL 선택 로직이 덜 정교한 것으로 추정되며, 불필요한 서버 부하를 유발한다.
AppleBot vs AI 크롤러: AppleBot은 Googlebot처럼 JavaScript를 완전히 실행한다는 점에서 AI 크롤러와 대조된다.
실용적 시사점: robots.txt로 AI 크롤러별 선택적 차단 가능. SSR 적용 시 JS 렌더링 한계를 보완해 AI 인덱싱 범위를 넓힐 수 있다.

왜 읽나AI 모델의 웹 데이터 수집 방식과 자사 사이트가 AI에 어떻게 인식되는지 이해하고 싶은 개발자·SEO 담당자에게.

Vercel Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청