AI 워크로드를 위한 서버리스 진화: Fluid Compute

전통적인 서버리스 아키텍처는 밀리초 단위 웹 트랜잭션에 최적화돼 있어, 수 초~수 분간 LLM 응답을 기다리는 AI 워크로드에는 비효율적이다. Vercel이 이 문제를 해결하기 위해 Fluid Compute를 발표했다. 인스턴스 내부에서 먼저 스케일링한 뒤 새 인스턴스를 생성하는 방식으로 AI 추론 비용과 콜드 스타트를 줄인다.

핵심 포인트

전통 서버리스의 함정: 함수가 LLM 응답을 기다리는 동안에도 과금이 이루어져 유휴 컴퓨트 낭비가 발생한다.
내부 스케일링 우선: 새 인스턴스를 만들기 전에 기존 인스턴스 내부에서 리소스를 확장해 불필요한 콜드 스타트를 제거한다.
동적 리소스 재할당: 하나의 인스턴스 안에서 여러 AI 추론 요청이 컴퓨트를 공유해 고동시성 워크로드 비용을 최대 85% 절감한다.
리전 최적화: 데이터와 인접한 위치에 인프라를 배치해 성능과 레이턴시 일관성을 확보한다.
보안 레이어: Vercel Firewall의 PoP 엣지 검사와 보안 영구 TCP 터널로 인스턴스를 직접 인터넷 노출로부터 격리한다.

상세 정리

기존 서버리스와 AI의 불일치: 전통 서버리스는 요청당 독립 인스턴스를 생성하는 방식이다. LLM 호출처럼 수 초~수 분을 기다려야 하는 태스크에서는 인스턴스가 유휴 상태로 과금된다.
내부 스케일링 메커니즘: 새로운 요청이 들어왔을 때 새 인스턴스를 만드는 대신 기존 인스턴스 내부의 여유 리소스를 먼저 활용한다. 이로써 불필요한 콜드 스타트가 줄어든다.
동적 리소스 재할당: 하나의 인스턴스 안에서 여러 AI 추론 요청이 컴퓨트를 공유한다. 고동시성 워크로드에서 비용 최대 85% 절감 효과를 낸다.
리전 최적화: 데이터와 가까운 위치에 인프라를 두어 레이턴시와 데이터 일관성을 개선한다.
보안 아키텍처 — 엣지 검사: Vercel Firewall이 PoP(Points of Presence)에서 트래픽을 검사한다.
보안 아키텍처 — TCP 터널: 보안 영구 TCP 터널이 인스턴스를 직접 인터넷 노출로부터 격리한다.
페일오버: 자동 멀티 존 페일오버와 엔터프라이즈 멀티 리전 기능을 지원한다.
핵심 목표: 모든 함수 호출이 대기가 아니라 실제 처리에 기여하게 만들어, 유휴 컴퓨트 과금을 없앤다.

왜 읽나LLM API를 호출하는 서버리스 백엔드를 운영하는 인프라·백엔드 엔지니어에게 전통 서버리스의 구조적 한계와 Fluid Compute의 해결 방식을 이해하는 레퍼런스를 제공한다.

Vercel Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

AI 워크로드를 위한 서버리스 진화: Fluid Compute

이 글과 비슷한

대규모 도그푸딩: cdnjs를 Cloudflare 개발자 플랫폼으로 이전하다

Dependabot 길들이기: 업데이트 묶고, 주기 늦추고, 보안은 빠르게

Cloudflare, 프라이버시 프로토콜 디버깅 CLI pvcli 오픈소스 공개