Cloudflare가 Content Independence Day 1주년을 맞아 웹사이트 소유자가 AI 트래픽을 목적별로 세분화해 제어할 수 있는 새 시스템을 공개했다. 기존 "AI 봇 차단" 토글을 넘어 Search·Agent·Training 세 카테고리로 봇을 분류하고, robots.txt에 콘텐츠 재사용 범위를 선언하는 새 use= 시그널을 도입했다. 멀티퍼포스 봇은 가장 제한적인 카테고리 규칙이 적용되며, 2026년 9월 15일부터 광고 페이지에 새 기본값이 적용된다.
핵심 포인트- 봇 목적을 Search(검색 인덱싱), Agent(사람 대리 실시간 작업), Training(모델 학습·파인튜닝)으로 분류해 각각 독립적으로 허용/차단 설정 가능
- 9월 15일부터 광고 노출 페이지 기준으로 Training·Agent는 기본 차단, Search는 기본 허용으로 바뀜
- robots.txt에 use=immediate/reference/full 시그널 추가 — 저장 금지/인덱싱 허용/요약 허용 세 단계로 재사용 범위 선언 가능
- BotBase: Cloudflare가 추적하는 모든 봇의 분류·Verified 상태·콘텐츠 사용 방식을 대시보드에서 검색 및 필터 가능(Enterprise)
- RFC 7239 Forwarded 헤더로 전이적 신뢰(transitive trust) 구현 — 중간 플랫폼을 거친 요청도 봇 운영자와 사용 의도 전달
상세 정리- 배경: 기존 Block AI bots 설정은 모델 학습 목적 단일 카테고리만 차단했고, Search용·Agent용 봇을 구분하지 못해 세밀한 제어가 불가능했다
- 새 분류 체계: 봇 행동 기반 11개 카테고리 — Search·Agent·Training이 핵심 3개이고, 나머지는 Transact·Data Collection·Security Testing·SEO·Ads Verification·Social·Feed Fetching·Monitoring 등
- 멀티퍼포스 봇 처리: Googlebot처럼 Search와 Training을 병행하는 봇은 두 카테고리 모두로 등록되며, Training 차단 설정 시 자동으로 차단됨
- 기본값 변경: 2026년 9월 15일부터 광고가 있는 페이지에서 Training·Agent 기본 차단. opt-out을 원하면 9월 15일 전에 Security 설정에서 변경 가능
- robots.txt 확장: 기존 Content Signals(search=yes, ai-train=no)에 use= 시그널 추가. immediate는 저장·재사용 금지, reference는 인덱싱·발췌·링크백 허용, full은 요약·재현 허용
- 위반 시 Verified 상태 박탈: full reproduction 봇은 현재 Verified 취득 불가하며, 시그널 남용이 발견되면 즉시 Verified 취소
- BotBase 활용: 각 봇의 Detection ID를 Security rules에 바로 복사해 세밀한 차단 규칙 작성 가능. 동적 대시보드 뷰는 기존에 없었던 기능
- Verified 정의 변경: 기존 Verified=기본 허용에서 Verified=해당 카테고리 설정에 따라 허용 가능으로 변경
- 전이적 신뢰: Cloudflare Workers 같은 플랫폼이 여러 운영자를 대신해 요청 시, RFC 7239 기반 Forwarded 헤더로 봇 운영자 신원과 콘텐츠 사용 의도를 전달. 신뢰를 잃으면 Cloudflare 뒤 20% 이상 웹 도메인 전체에서 차단되는 강력한 억제력
- 한계 인정: 소규모·익명 트래픽은 이 신뢰 체계 밖에 있어, 프라이빗 레이트 리미팅 같은 별도 메커니즘이 필요하다고 명시
왜 읽나AI 봇 트래픽 관리와 콘텐츠 수익화를 고민하는 웹 운영자·인프라 엔지니어에게 Cloudflare의 새 봇 분류 체계와 robots.txt 확장 표준을 실제 설정 예시와 함께 파악할 수 있다.
Cloudflare Blog·
GitLab Blog·
Twilio Engineering·