웹툰·웹소설 캐릭터 페르소나의 실시간 대화를 만들며 LLM latency를 애플리케이션 설계와 추론 구조 양쪽에서 줄인 방법을 설명한다. 모델 교체만 기다리지 않고 prompt·output·serving을 함께 최적화하는 접근을 제시한다.
핵심 포인트- LLM은 다음 token을 하나씩 생성해 prompt가 길수록 prefill이, output이 길수록 decoding이 느려지므로, RAG document relevance 같은 닫힌 판단은 자유문 생성 대신 label classification으로 바꾸고 여러 단계 prompt를 병렬화·축약해 호출 수와 token을 감축
- 한국어·고유명사가 과도하게 쪼개지면 생성 step이 늘어나 tokenizer 적합성을 측정해 용어 사전·model 선택에 반영하고, JSON의 brace·key처럼 아는 고정 문자열은 model이 아닌 application code가 조립하고 value만 생성
- autoregressive attention의 KV cache로 이전 token key·value 재계산을 피하되 GPU memory를 cache와 batch가 나눠 쓰는 trade-off를 이해하고, continuous batching으로 끝난 slot을 즉시 채워 이용률을 높이며 공통 system prompt·story context는 prefix cache로 재사용
왜 읽나실시간 LLM 서비스의 응답 지연을 줄여야 하는 개발자에게 애플리케이션 단순화부터 KV cache·batching까지 계층별 최적화 레버를 정리해준다.