LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)

kakao tech·if(kakao)25 2025·10개월 전·

#llm#distributed-training#gpu-kernel#pretraining#mixture-of-experts#model-architecture

AI 요약

비용 효율적으로 오픈소스를 추격하던 카카오의 자체 언어모델 Kanana가, 실제 서비스가 늘면서 벤치마크 추격을 넘어 서비스 일반화·자연스러운 사용감·대규모 트래픽을 감당할 추론 효율을 목표로 삼는 Kanana-2로 방향을 트는 과정을 다룬다. MoE 구조 설계부터 병렬 학습·커널 최적화, 본 학습 전 모의실험까지 대규모 사전학습의 의사결정과 검증을 공유한다.

핵심 포인트

Kanana 1은 Qwen2.5 대비 약 18% 컴퓨팅 비용으로 유사 성능을, 1.5는 코드·수학과 128K 컨텍스트를 확보했지만, 서비스 확대에 따라 복합 지시와 grounding, 추론 강도를 조절하는 하이브리드가 새 목표로 부상
전체 30B 중 토큰마다 3B만 활성화하는 MoE로 학습·서빙 비용을 줄이고, 긴 입력에서 커지는 KV cache는 GQA 대신 Multi-head Latent Attention으로 축소해 이전 32.5B dense보다 적은 연산으로 경쟁력 확보
4K 단계에는 DualPipeV+data parallelism, 32K 확장에는 expert·context·data parallelism을 조합하고 auxiliary-loss-free로 전문가 부하를 균형화하며 Muon optimizer 채택 — MLA용 FlashAttention 커널 약 13%, MoE permute·unpermute는 Transformer Engine 대비 약 40% 개선
Muon vs AdamW 비교, 하이퍼파라미터 scaling, stage 간 expert balancing을 세 차례 모의실험해 learning rate·batch size는 total보다 active parameter 기준이 유리함을 확인 — 이후 FP8 학습과 tool use·search 포함 hybrid reasoning 계획

왜 읽나from-scratch로 대규모 MoE LLM을 사전학습하려는 팀에게 아키텍처 선택, 병렬화·커널 최적화, 본 학습 전 리스크를 줄이는 모의실험 설계까지 실제 개발기를 보여주는 참고 자료.

챕터별 상세

010:10 – 2:48

Kanana 1·1.5에서 확보한 기반

첫 Kanana 시리즈는 온디바이스 Nano부터 고성능 Flag까지 목적별 모델을 만들고, Qwen2.5 대비 약 18%의 컴퓨팅 비용으로 비슷한 성능을 달성했다. Kanana 1.5에서는 코드·수학 능력과 128K 컨텍스트를 강화하고 reasoning과 MoE 연구까지 확장했지만, 실제 카카오 서비스가 늘면서 새로운 목표가 필요해졌다.

단순히 공개 모델 벤치마크를 따라잡는 수준을 넘어 다양한 서비스 질문에 일반화하고, 복합 지시와 grounding이 자연스러운 사용감을 제공해야 했다. 동시에 카카오 규모의 트래픽을 감당할 추론 효율이 중요해져 프리트레이닝 데이터량을 크게 늘리고 reasoning 강도를 조절하는 하이브리드 모델을 함께 목표로 삼았다.

Kanana-2 프리뷰는 전체 30B 파라미터 중 토큰마다 3B만 활성화하는 MoE로 학습과 서빙 비용을 줄인다. 긴 입력에서 커지는 KV cache는 Grouped Query Attention 대신 Multi-head Latent Attention을 사용해 축소하면서 attention 용량을 유지한다. 이전 32.5B dense 모델보다 적은 연산으로 경쟁력 있는 사전학습 성능과 동시 요청 지연을 확보했다.

프롬스크래치 MoE 경험의 불확실성을 줄이기 위해 Muon과 AdamW 비교, 하이퍼파라미터 scaling 기준, stage 간 분포 변화에서 expert balancing을 세 차례 모의실험했다. Learning rate와 batch size는 total보다 active parameter 기준이 더 좋은 결과를 보였고, 검증을 바탕으로 본 학습을 이어간다. 이후 FP8 학습과 tool use·search까지 포함한 hybrid reasoning을 계획한다.