AI SDK 3.4

Vercel AI SDK 3.4가 출시되어 Language Model Middleware, 강화된 Structured Output, Multi-Step Tool Calls, OpenTelemetry 트레이싱 등 주요 기능이 추가됐다. Data Stream Protocol이 백엔드 프레임워크 독립적으로 개선되어 FastAPI·Express 외 다양한 환경에서 스트리밍 구현이 가능해졌다. 테스트 편의성을 위한 MockLanguageModelV1과 프로바이더별 기능 확장도 포함된다.

핵심 포인트

Language Model Middleware로 요청 파라미터 변환·스트림 래핑 등 LLM 인터셉터 계층 구현 가능
Data Stream Protocol이 백엔드 무관으로 개선, FastAPI·Express 구현 예제 포함
Structured Output 4가지 모드: object/array/enum/no-schema로 타입 안전 응답 처리
streamText의 steps·maxSteps 옵션으로 Multi-Step Tool Calls 루프 제어
OpenTelemetry 통합으로 TTFC, 토큰 수, 응답 ID 등 LLM 메트릭 추적 가능
MockLanguageModelV1로 실제 API 호출 없이 LLM 동작 단위 테스트 가능

상세 정리

Language Model Middleware: `transformParams`로 입력 변환, `wrapGenerate`/`wrapStream`으로 출력 래핑
미들웨어 체이닝: 여러 미들웨어를 순서대로 합성하여 재사용 가능한 LLM 파이프라인 구성
Data Stream Protocol: 특정 프레임워크 SDK 없이 raw HTTP 스트리밍으로 구현 가능
FastAPI 예제: Python에서 Vercel AI SDK 호환 스트림 포맷 직접 생성
Structured Output 모드별 용도: object(단일 객체), array(목록), enum(분류), no-schema(자유)
Multi-Step Tool Calls: `maxSteps` 설정으로 연속 툴 호출 횟수 상한 지정
`steps` 배열에서 각 툴 호출 입출력 이력 조회 가능
OpenTelemetry: response ID, TTFC(Time To First Chunk), 프롬프트·완성 토큰 수 스팬 속성 기록
Mock Models: `MockLanguageModelV1`로 고정 응답·스트림·에러 시뮬레이션 지원
프로바이더 업데이트: Anthropic 프롬프트 캐싱, Bedrock Guardrails, Cohere/Google 임베딩 지원 추가

왜 읽나AI SDK를 프로덕션에 운용 중이라면 미들웨어·Observable·Mock 패턴이 기존 파이프라인의 테스트 가능성과 확장성을 크게 높여줄 것이다.

Vercel Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

AI SDK 3.4

이 글과 비슷한

DS와 MLE가 함께 일하는 법

AI와 개발하기: 숨은 결정을 드러내기

Grafana에서 자연어로 장애 원인을 분석하기: LLM 에이전트 기반 SRELens 개발기