Kanana 계열 multimodal LLM을 만들며 vision encoder·projector·LLM 구조, visual token 효율, 학습 데이터 curriculum이라는 세 축을 실험으로 검증한 연구를 공유한다. 데이터 다양성이 모델 규모 못지않게 중요하다는 결론에 이른다.
핵심 포인트- Pretrained vision encoder가 image patch를 feature로 바꾸고 projector가 LLM embedding 공간에 맞추는 구조에서, encoder를 그대로 붙이면 visual token이 많아 context·compute를 크게 쓰므로 projector의 압축 역할이 관건
- learned query와 attention으로 중요한 patch에 weight를 주는 attention 기반 projector가 단순 linear보다 적은 token으로도 높은 품질을 냈고, throughput을 맞추면 성능 차가 커졌으며 sparse attention map으로 압축이 실제 object·text 영역에 집중함을 확인
- OCR·chart·document·open-ended/multiple-choice VQA의 비율·품질이 task 성능을 좌우해 종류·난이도를 단계적으로 섞어 ablation했고, multi-turn 학습으로 한 image의 여러 QA에서 visual context를 이어가되 catastrophic forgetting·hallucination·고해상도 비용은 과제로 남김
왜 읽나multimodal LLM을 직접 학습·튜닝하는 연구자에게 projector 설계와 데이터 curriculum이 성능에 미치는 영향을 ablation 근거로 정리해준다.