Workers AI와 AI Gateway를 단일 AI 컨트롤 플레인으로 통합

Cloudflare가 Workers AI와 AI Gateway를 단일 AI 컨트롤 플레인으로 통합한다. 기존에 별도 제품이었던 두 서비스의 진입점을 하나로 합쳐 관찰성·청구·보안·로깅을 단일 레이어에서 처리할 수 있게 했고, model-first 라우팅과 스마트 라우팅으로 발전시킬 계획이다.

핵심 포인트

Workers AI 바인딩에 `{gateway: {id: 'default'}}` 파라미터 하나만 추가하면 AI Gateway가 자동 생성되고 즉시 요청·응답 로깅과 토큰 추적이 시작된다.
단일 REST API(`/ai/` 엔드포인트)로 Workers AI와 외부 모델 제공자(OpenAI, Anthropic 등)를 동일하게 호출한다.
AI Gateway 크레딧이 Workers AI 사용량에도 적용되어 지갑 하나로 모든 지원 제공자에 분산 결제가 가능하다.
곧 출시될 model-first routing으로 제공자 지정 없이 모델명만으로 요청하면 AI Gateway가 가용 제공자를 자동 선택하고 장애 시 투명하게 전환한다.
스마트 라우팅(파일럿): 프롬프트 태스크 유형·복잡도를 분류해 최적 모델을 자동 선택하는 zero-config 경로를 내부 테스트 중이다.

상세 정리

배경: AI Gateway와 Workers AI는 동일한 목적(모델 연결·컨트롤 플레인)이었으나 별도 제품으로 사용자가 선택해야 했고 진입점이 달랐다.
바인딩 통합: 기존 `env.AI.run(model, input)`에 세 번째 인자 `{gateway: {id: 'default'}}`만 추가. 코드 변경 한 줄로 모든 요청이 AI Gateway를 통해 완전한 observability를 갖춘다.
자동 게이트웨이 생성: `default` ID는 최초 인증 요청 시 자동 생성되어 대시보드 사전 설정 없이 latency·토큰·비용·요청·응답 전체가 즉시 로깅된다.
통합 청구: AI Gateway 크레딧으로 Workers AI 사용량도 결제 가능해졌다. 통합 청구 사용 시 Workers AI 모델의 rate limit도 상향된다.
model-first routing 원리: 사용자가 모델명(예: kimi-k2.7-code)만 지정하면 Workers AI 또는 외부 제공자 중 가용한 쪽으로 투명하게 라우팅된다. ZDR(Zero Data Retention) 요건도 지원한다.
복원력: 특정 제공자의 모델에 문제가 생기면 같은 모델 가중치를 보유한 다른 제공자로 자동 전환해 애플리케이션 레벨의 재시도 로직이 불필요하다.
smart routing 작동: Workers AI 위 분류기가 프롬프트의 태스크 유형(코딩·리서치·요약·Q&A)과 복잡도를 예측해 curated 모델 풀에서 최적 모델로 맵핑한다.
현재 내부 파일럿 중이며 수 주 내 공개 예정이다.

왜 읽나여러 LLM 제공자를 단일 레이어로 관리하거나 Cloudflare Workers AI를 AI 인프라로 활용하는 백엔드·인프라 엔지니어에게 실질적인 코드 예제와 통합 로드맵을 담은 레퍼런스.

Cloudflare Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

Workers AI와 AI Gateway를 단일 AI 컨트롤 플레인으로 통합

이 글과 비슷한

Radar Researcher: 자연어로 인터넷 데이터를 탐색하는 AI 도구

새로운 v0 API: 헤드리스 AI 앱 빌더를 자체 제품에 임베드하기

AI 주도 개발(AI-Driven Development)의 시대