텍스트만 다루던 LLM을 이미지·오디오까지 이해하고 음성으로 답하는 멀티모달 모델로 넓히는 여정을 다룬다. 카카오의 비전 모델 Kanana-v와 음성 모델 Kanana-a를 각각 다듬은 뒤 이를 하나로 통합한 Kanana-o에 이르기까지, 한국어 특화 성능과 서빙 효율을 함께 잡은 설계 선택을 설명한다.
핵심 포인트- Kanana-v는 문서의 작은 글자와 전체 맥락을 함께 보려 이미지 축소·tile 대신 native resolution을 채택하고, 시각 토큰을 다 넘기는 linear projector와 압축 방식 사이에서 C-Abstractor로 detail과 비용을 균형화
- Kanana-a는 LLM이 audio token까지 직접 만들면 언어 지식을 잃고 두 배 이상 느려지는 문제를 LLM·audio-token LM 역할 분리로 풀고, 부분 문장을 즉시 재생하는 streaming으로 첫 음성 지연을 3초에서 1초로, 자체 codec은 초당 12.5 token만 써 EnCodec 대비 생성량을 6분의 1로 축소
- Kanana-o는 공통 Kanana LLM 기반 vision·audio 전문가를 model merging으로 합치고 encoder·projector·audio decoder를 다시 연결한 뒤 이미지·텍스트·오디오 통합 데이터로 학습 — 한국어 음성 QA 등에서 유사 크기 공개 모델보다 강한 결과
- 한국 캐릭터·콘텐츠 인식 고도화와, 맞장구엔 말을 잇고 새 질문엔 멈춰 답하는 full-duplex 대화, function calling GUI agent·streaming audio·안전성까지 확장 지향
왜 읽나비전·음성·텍스트를 하나의 모델로 통합하려는 멀티모달 연구자에게 개별 모달 최적화부터 model merging 통합, 실시간 음성 지연·codec 효율까지 실전 설계를 보여주는 개발기.