Vercel AI Gateway에서 Claude Sonnet 4의 100만 토큰 컨텍스트 사용하기

Vercel AI Gateway가 Claude Sonnet 4의 100만 토큰 컨텍스트 윈도우를 지원하기 시작했다. Anthropic 베타 헤더 하나와 Vercel AI SDK의 streamText 설정만으로 전체 코드베이스(약 75,000줄 이상)나 대용량 문서 처리가 가능하다.

핵심 포인트

claude-4-sonnet 모델에 anthropic-beta: context-1m-2025-08-07 헤더를 추가하면 1M 토큰 컨텍스트가 활성화된다.
Vercel AI SDK의 streamText에서 model: anthropic/claude-4-sonnet과 headers 옵션으로 설정한다.
providerOptions.gateway.only: ['anthropic']으로 Anthropic 직접 라우팅을 지정할 수 있다.
자동 재시도, 장애 조치, 비용 추적, 관찰성이 AI Gateway에 내장돼 있다.

상세 정리

컨텍스트 윈도우: 1M 토큰은 약 75,000줄 이상의 코드베이스나 대용량 문서 세트를 단일 컨텍스트로 처리 가능하다.
설치: pnpm i ai로 Vercel AI SDK를 설치한다.
모델 설정: model 파라미터에 anthropic/claude-4-sonnet을 지정한다.
베타 헤더 활성화: headers 옵션에 'anthropic-beta': 'context-1m-2025-08-07'를 추가하면 1M 컨텍스트가 활성화된다.
라우팅 설정: providerOptions.gateway.only: ['anthropic']으로 Anthropic 직접 라우팅을 지정, Bedrock 등과 구분한다.
AI Gateway 부가기능: 자동 재시도, 장애 조치, 사용량·비용 추적, 관찰성이 내장돼 있다.
다중 공급자: Anthropic과 Bedrock 모두 지원, 동일 API로 라우팅 전환 가능.

왜 읽나Vercel AI SDK에서 Claude Sonnet 4의 대용량 컨텍스트를 활용해야 하는 개발자에게 실제 코드와 헤더 설정 방법을 제공한다.

Vercel Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청