All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것

kakao tech·if(kakao)25 2025·10개월 전·

#gpu#model-serving#ai-agent#llm#machine-learning#quantization#reinforcement-learning

AI 요약

카카오 AI메이트의 도메인 특화 LLM을 학습·서빙·평가하는 전 과정을 GRPO 강화학습, 양자화 추론 최적화, 오케스트레이션 벤치마크라는 세 사례로 풀어낸다. 파인튜닝 모델이 외부 범용 모델보다 높은 선호를 보인 연구(ACL 2025 Industry Track 채택)를 배경으로, 서비스가 복잡해지며 필요해진 학습·추론·평가 과제를 구체적으로 다룬다.

핵심 포인트

쿼리 재작성 rewriter와 장소 selective reranker에 GRPO를 적용하되, slot filling·ranking F-score 같은 검증 가능한 지표를 직접 보상으로 사용 — 약 1천 개 고품질 샘플로 SFT의 약 3%를 크게 웃도는 약 12% 향상을 얻고 일반화도 유지, 단순 보상으로 reward hacking 회피
공개 FP8 모델의 block-wise 형식이 Hopper·Ampere에서 느릴 수 있어 tensor-wise FP8로 재양자화하고 소량 calibration만으로 품질 저하 없이 개선, TensorRT-LLM의 FP8 GEMM·XQA 커널을 활용해 MI300X 대신 H200을 골라 처리량·속도를 최소 2배 이상 향상
17개 도메인·99개 가상 도구·언어별 약 220개 멀티턴 세션을 수동 설계한 한국어 중심 벤치마크로, 계획의 작업 분해·순서·모델 선택(planning)과 tool/key-value F1을 분리 평가해 모델마다 planning과 function calling 강점이 다름을 확인

왜 읽나도메인 특화 LLM을 직접 학습·서빙하는 팀에게 검증 가능 보상 RL, FP8·GPU 선택, 실서비스형 오케스트레이션 평가를 한데 엮은 실전 노트.

챕터별 상세

010:10 – 3:34

AI메이트의 학습·서빙·평가 과제

쇼핑메이트와 로컬메이트는 대화를 바탕으로 상품과 장소를 추천하며, 파인튜닝된 내부 모델이 외부 범용 모델보다 높은 사용자 선호를 보인 연구는 ACL 2025 Industry Track에 채택됐다. 서비스가 복잡해지면서 도메인을 자동 선택하는 오케스트레이터와 각 도메인에 특화된 모델이 필요해졌다. 발표는 GRPO 학습, 양자화 기반 추론 최적화, 오케스트레이션 벤치마크라는 세 축으로 이를 설명한다.

쇼핑 쿼리를 검색 파라미터로 바꾸는 rewriter와 장소 검색 결과를 필터링·재정렬하는 selective reranker에 GRPO를 적용했다. SFT용 합성 데이터의 품질과 양, 기획 변경에 따른 성능 하락 문제를 피하기 위해 slot filling과 ranking F-score처럼 검증 가능한 지표를 보상으로 직접 사용했다. 약 1천 개의 고품질 샘플로 SFT의 약 3%보다 큰 약 12% 향상을 얻었고 일반화 성능도 유지했다. 단순한 보상 설계로 reward hacking을 피하고, reasoning SFT가 만든 기반 위에 RL을 적용할 때 학습이 더 안정적이라는 교훈도 공유한다.

입력이 약 4천 토큰이고 여러 차례 reasoning과 tool use를 반복하는 서비스에서 latency, throughput, memory를 함께 줄이는 것이 목표였다. 공개 FP8 모델의 block-wise 형식이 Hopper·Ampere에서 느릴 수 있어 tensor-wise FP8으로 다시 양자화했고, 소량의 calibration만으로 품질 저하 없이 성능을 높였다. TensorRT-LLM이 제공하는 FP8 GEMM과 XQA 커널의 이점을 활용하고 MI300X와 H200을 비교한 끝에, 비용보다 BF16 대비 FP8 향상 폭이 큰 H200을 선택해 처리량과 속도를 최소 두 배 이상 개선했다.

오케스트레이터는 복잡한 요청을 작은 작업으로 나누고 여러 도메인 모델과 도구를 순차 또는 병렬로 조율해야 한다. 중간에 바뀌는 계획, 여러 도메인의 의존 관계, 예약 시간 같은 비즈니스 제약까지 반영하도록 planning과 tool calling을 별도로 평가한다. 17개 도메인, 99개 가상 도구, 언어별 약 220개 멀티턴 세션을 모두 수동 설계해 실제 서비스와 비슷한 시뮬레이션을 만들었다. 평가는 계획의 작업 분해·순서·모델 선택과 tool/key-value F1을 나눠 측정하며, 모델마다 planning과 function calling 강점이 다름을 확인했다.