pile·
보안·cloudflare-blogCloudflare Blog·

사이트 소유자를 위한 새 AI 트래픽 제어 옵션

Cloudflare가 Content Independence Day 1주년을 맞아 웹사이트 소유자가 AI 트래픽을 목적별로 세분화해 제어할 수 있는 새 시스템을 공개했다. 기존 "AI 봇 차단" 토글을 넘어 Search·Agent·Training 세 카테고리로 봇을 분류하고, robots.txt에 콘텐츠 재사용 범위를 선언하는 새 use= 시그널을 도입했다. 멀티퍼포스 봇은 가장 제한적인 카테고리 규칙이 적용되며, 2026년 9월 15일부터 광고 페이지에 새 기본값이 적용된다.

핵심 포인트
  • 봇 목적을 Search(검색 인덱싱), Agent(사람 대리 실시간 작업), Training(모델 학습·파인튜닝)으로 분류해 각각 독립적으로 허용/차단 설정 가능
  • 9월 15일부터 광고 노출 페이지 기준으로 Training·Agent는 기본 차단, Search는 기본 허용으로 바뀜
  • robots.txt에 use=immediate/reference/full 시그널 추가 — 저장 금지/인덱싱 허용/요약 허용 세 단계로 재사용 범위 선언 가능
  • BotBase: Cloudflare가 추적하는 모든 봇의 분류·Verified 상태·콘텐츠 사용 방식을 대시보드에서 검색 및 필터 가능(Enterprise)
  • RFC 7239 Forwarded 헤더로 전이적 신뢰(transitive trust) 구현 — 중간 플랫폼을 거친 요청도 봇 운영자와 사용 의도 전달
상세 정리
  • 배경: 기존 Block AI bots 설정은 모델 학습 목적 단일 카테고리만 차단했고, Search용·Agent용 봇을 구분하지 못해 세밀한 제어가 불가능했다
  • 새 분류 체계: 봇 행동 기반 11개 카테고리 — Search·Agent·Training이 핵심 3개이고, 나머지는 Transact·Data Collection·Security Testing·SEO·Ads Verification·Social·Feed Fetching·Monitoring 등
  • 멀티퍼포스 봇 처리: Googlebot처럼 Search와 Training을 병행하는 봇은 두 카테고리 모두로 등록되며, Training 차단 설정 시 자동으로 차단됨
  • 기본값 변경: 2026년 9월 15일부터 광고가 있는 페이지에서 Training·Agent 기본 차단. opt-out을 원하면 9월 15일 전에 Security 설정에서 변경 가능
  • robots.txt 확장: 기존 Content Signals(search=yes, ai-train=no)에 use= 시그널 추가. immediate는 저장·재사용 금지, reference는 인덱싱·발췌·링크백 허용, full은 요약·재현 허용
  • 위반 시 Verified 상태 박탈: full reproduction 봇은 현재 Verified 취득 불가하며, 시그널 남용이 발견되면 즉시 Verified 취소
  • BotBase 활용: 각 봇의 Detection ID를 Security rules에 바로 복사해 세밀한 차단 규칙 작성 가능. 동적 대시보드 뷰는 기존에 없었던 기능
  • Verified 정의 변경: 기존 Verified=기본 허용에서 Verified=해당 카테고리 설정에 따라 허용 가능으로 변경
  • 전이적 신뢰: Cloudflare Workers 같은 플랫폼이 여러 운영자를 대신해 요청 시, RFC 7239 기반 Forwarded 헤더로 봇 운영자 신원과 콘텐츠 사용 의도를 전달. 신뢰를 잃으면 Cloudflare 뒤 20% 이상 웹 도메인 전체에서 차단되는 강력한 억제력
  • 한계 인정: 소규모·익명 트래픽은 이 신뢰 체계 밖에 있어, 프라이빗 레이트 리미팅 같은 별도 메커니즘이 필요하다고 명시
왜 읽나AI 봇 트래픽 관리와 콘텐츠 수익화를 고민하는 웹 운영자·인프라 엔지니어에게 Cloudflare의 새 봇 분류 체계와 robots.txt 확장 표준을 실제 설정 예시와 함께 파악할 수 있다.
cloudflare-blog
Cloudflare Blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 보안·cloudflare-blogCloudflare Blog·

    Cloudflare 앱 생태계 OAuth 전면 개방 — Hydra 마이그레이션 내막

    Cloudflare가 OAuth 인프라를 Hydra 1.X에서 2.X로 업그레이드하면서 자체 관리 OAuth를 전체 개발자에게 개방한 과정을 다룬다. 스키마 변경으로 인한 인덱스 락 문제, 블루-그린 배포 전략, 전환 중 revocation 큐 설계, 전환 후 리프레시 토큰 버그까지 실제 운영 사고와 해결을 상세히 기록했다.

    #database-migration#zero-downtime#oauth+2
  2. 보안·cloudflare-blogCloudflare Blog·

    양자 내성 암호화 행정명령(EO 14409) — 2030 전환 기한과 조직 대응 방안

    2026년 6월 22일 트럼프 대통령이 서명한 행정명령 EO 14409는 미 연방 기관에 2030년까지 암호화(키 교환) 전환, 2031년까지 디지털 서명 전환을 요구한다. Cloudflare는 이미 자사 네트워크 브라우저 트래픽의 2/3 이상을 PQC(Post-Quantum Cryptography)로 보호 중이며, 이 글은 행정명령의 기술적 함의와 조직이 지금 당장 해야 할 일을 정리한다.

    #tls#cryptography#post-quantum-cryptography+2
  3. 보안·vercel-blogVercel Blog·

    Vercel OIDC 토큰의 커스텀 오디언스 지원

    Vercel OIDC 발급자(`oidc.vercel.com`)가 커스텀 오디언스 클레임을 지원하기 시작했다. 기존 고정 오디언스(`https://vercel.com/{owner}`) 방식은 특정 제공자가 침해됐을 때 공격자가 동일 토큰으로 다른 서비스에 인증을 시도할 수 있었는데, 이제 배포마다 서드파티별 고유 `aud` 클레임을 설정해 토큰 격리가 가능하다.

    #jwt#oidc#token-exchange+1