Name: GenAI를 위한 Gateway
Uploaded: 2025-09-24T14:13:45Z
Duration: 23 min
Description: LLM inference 요청은 가변 token 비용·streaming·초 단위 지연·이기종 GPU를 가져, 요청 한 건을 같은 비용으로 보는 전통 API Gateway의 가정이 깨진다는 데서 출발한다. 이를 다르게 다루는 AI Gateway의 요건과 Kakao AI Platform의 Envoy Gateway 기반 구현을 따라간다.

AI 요약

LLM inference 요청은 가변 token 비용·streaming·초 단위 지연·이기종 GPU를 가져, 요청 한 건을 같은 비용으로 보는 전통 API Gateway의 가정이 깨진다는 데서 출발한다. 이를 다르게 다루는 AI Gateway의 요건과 Kakao AI Platform의 Envoy Gateway 기반 구현을 따라간다.

핵심 포인트

같은 QPS라도 input·output token 수에 따라 prefill 연산과 KV cache가 달라지므로 처리량·TTFT·TPOT·전체 latency를 별도로 측정하고, 응답이 끝나야 확정되고 tokenizer마다 다른 token을 기준으로 사용자·project별 quota·rate limit을 설정
AI Gateway는 여러 provider·model을 단일 interface로 추상화하고 인증·logging·사용량 집계를 공통 제공하며, prefix가 같은 요청을 같은 GPU로 보내 KV cache를 재사용하거나 cache 사용률·대기열이 낮은 pod를 고르는 지능형 routing으로 비싼 GPU 효율을 높임
빠른 AI 변화에 자체 구현만으로 대응하기 어렵다 보고 표준 기능은 open source, 내부 요구만 확장하는 전략을 택해 Istio·llm-d·vLLM 계열과 비교 후 C++·Go 기반 빠른 streaming과 Kubernetes 생태계 재사용이 가능한 Envoy Gateway 계열을 선택
Kakao AI Platform은 gateway 위에 교체 가능한 관리 계층을 두고 모델 등록·API key 인증·endpoint routing을 처리, 기존 OpenAI client는 endpoint와 key만 바꿔 호출하고 dashboard에서 token 사용량·latency percentile·rate limit을 확인

왜 읽나LLM 서빙 인프라를 운영하는 플랫폼 엔지니어에게 token 기반 SLO·metering, KV cache aware routing, 오픈소스 gateway 선택까지 GenAI 특화 게이트웨이의 요건을 정리한 설계 가이드.

챕터별 상세

010:10 – 4:58

GenAI 서빙이 기존 웹과 다른 이유

모델별 전용 인프라에서 여러 open·closed model과 tool을 조합하는 공통 플랫폼으로 흐름이 바뀌었다. LLM 요청은 prompt·history·tool 결과에 따라 크기가 크게 달라지고 token streaming과 초 단위 지연을 가진다. 같은 QPS라도 input·output token 수에 따라 prefill 연산과 KV cache가 달라져 요청 한 건을 같은 비용으로 보는 전통 gateway 가정이 깨진다.

처리량, 첫 token까지의 TTFT, token 사이 TPOT, 전체 latency를 별도로 측정해야 한다. 비용의 실질 단위인 token은 응답이 끝나야 확정되고 tokenizer마다 달라 사용자·project·application별 quota와 rate limit도 token 기준이 필요하다. NVIDIA·AMD·Intel GPU와 NPU, model·framework·tenant가 섞인 backend에서 성능과 격리를 함께 관리해야 한다.

AI Gateway는 여러 provider와 model을 단일 interface로 추상화하고 인증·logging·token rate limit과 사용량 집계를 공통 제공한다. Prefix가 같은 요청을 같은 GPU로 보내 KV cache를 재사용하거나, cache 사용률과 대기열이 낮은 pod를 고르는 routing으로 비싼 GPU 효율을 높인다. Kubernetes Gateway API Inference Extension과 EPP로 맞춤 정책을 표준화할 수 있다.

빠른 AI 변화에 자체 구현만으로 대응하기 어렵다고 보고 표준 기능은 open source를 쓰고 내부 요구만 확장하는 전략을 택했다. Istio, llm-d, vLLM 계열 선택지를 성능·cloud native 운영·production 사용성으로 비교해 C++·Go 기반의 빠른 streaming 처리와 기존 Kubernetes 생태계 재사용이 가능한 Envoy Gateway 계열을 선택했다. 개선은 issue와 PR로 upstream에 돌려보낸다.

Kakao AI Platform은 gateway 위에 교체 가능한 관리 추상화를 두고 모델 등록, API key 인증, endpoint routing을 처리한다. 사용자는 기존 OpenAI client에 endpoint와 발급 key만 바꿔 여러 모델을 호출할 수 있다. Dashboard에서 project·user별 token 사용량, model 순위, latency·TTFT·TPOT의 percentile과 distribution, rate limit을 확인해 운영과 비용을 함께 관리한다.