Vercel AI Gateway에서 OpenAI 오픈 웨이트 모델 gpt-oss-20b·120b 사용하기

Vercel AI Gateway에 OpenAI의 오픈 웨이트 추론 모델 gpt-oss-20b와 gpt-oss-120b가 추가됐다. AI SDK v5의 streamText에서 모델명만 지정하면 Groq, Baseten, Cerebras, HuggingFace 등 다양한 제공업체를 통해 실행할 수 있다.

핵심 포인트

openai/gpt-oss-20b와 openai/gpt-oss-120b 두 오픈 웨이트 추론 모델이 추가됐다.
pnpm i ai로 AI SDK v5를 설치하고 streamText에서 모델명을 지정한다.
Groq, Baseten, Cerebras, HuggingFace 등 다수 제공업체를 통한 라우팅을 지원한다.
BYOK, 관찰성, 자동 재시도·장애 조치가 내장돼 있다.

상세 정리

추가 모델: openai/gpt-oss-20b(20B 파라미터), openai/gpt-oss-120b(120B 파라미터) 오픈 웨이트 추론 모델.
설치: pnpm i ai로 AI SDK v5를 설치한다.
코드 패턴: streamText({ model: 'openai/gpt-oss-120b', prompt: ... }) 형태로 사용한다.
다중 제공업체: Groq, Baseten, Cerebras, HuggingFace 등을 통해 모델을 실행한다.
내장 기능: BYOK, 관찰성, 자동 재시도·장애 조치, 지능형 공급자 라우팅.
리더보드: AI Gateway에서 토큰 처리량 기반 모델 인기도 추적 가능.

왜 읽나Vercel AI SDK에서 OpenAI 오픈 웨이트 추론 모델을 다중 제공업체로 유연하게 실행하려는 개발자에게 모델명과 라우팅 방법을 제공한다.

Vercel Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청