LLM 서빙하기

TGI, vLLM, TensorRT-LLM, LightLLM을 team 기술 stack, Triton 연동, LoRA adapter, model architecture 지원, community·roadmap과 운영 reference로 비교한다. benchmark 표만 보지 않고 현재 model과 배포 toolchain에 맞는지 검토하며, 후보를 좁힌 뒤 동일 input·output 조건의 직접 실험으로 결정한다.

2B·7B·46B 규모 model에 같은 길이의 prompt와 300 token output을 요청해 초당 처리량과 평균 latency를 측정한다. framework별 결과가 model마다 달라 절대적인 승자를 가정하지 않고, 카카오페이 workload에서 vLLM과 LightLLM을 비교한 뒤 운영 편의와 최적화 지원을 함께 고려해 vLLM을 선택한다.

LLM은 이전 token을 다음 step의 input으로 반복 사용하므로 attention의 key·value를 매번 다시 계산하면 비용이 크다. KV cache는 이전 연산을 GPU memory에 보존해 중복 계산을 줄이지만 request마다 길이가 달라 고정 영역을 예약하면 fragmentation과 낭비가 생긴다. serving 최적화의 핵심 병목을 이 memory 구조에서 찾는다.

PagedAttention은 KV cache를 작은 block으로 나눠 필요한 만큼 비연속 할당함으로써 GPU memory fragmentation을 줄이고 더 많은 request를 수용한다. Continuous batching은 먼저 끝난 request의 slot을 batch 종료까지 비워두지 않고 대기 request로 즉시 채운다. 두 기술을 결합해 처리량을 높이고 token당 serving 비용을 낮춘다.