멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?

스캐터랩이 루다의 사진 대화(포토챗)를 리트리벌 방식에서 생성형 멀티모달 모델로 바꾼 과정을 다룬다. 작은 모델·데이터 부족·단발성 학습의 한계를 Vision-Language Pre-training(VLP)과 멀티턴 이미지 대화 데이터셋으로 풀어, 문맥 속 사진까지 이해하는 대화를 만들었다.

핵심 포인트

기존 리트리벌 한계는 세 가지다: 이미지-텍스트 의미를 이해할 만큼 큰 생성 모델 부재, 학습 데이터 부족, 단일 이미지-단일 발화만 학습해 대화 문맥과 이미지를 함께 못 봄.
VLM은 2.3B GPT-2 언어 모델을 고정하고, 비전 인코더 임베딩을 프로젝션 레이어로 언어 모델 텍스트 공간에 맞춰 붙인다.
공개 데이터셋(CC·VG·MSCOCO·SBU·LAION 400M)을 번역하고 AI Hub를 더해 15M 한국어 이미지-캡션으로 사전학습했다.
새 생성 모델의 이미지 코멘팅 SSA는 in-domain 0.85·out-of-domain 0.80으로 리트리벌(0.76/0.62)을 앞섰다(OOD 22% 향상).
루다 실제 챗 로그로 2만 세션 멀티턴 데이터셋을 만들고, 이미지-코멘트로 먼저 학습 후 멀티턴으로 이어 학습(S→M)할 때 Sensibleness가 가장 높았다.

상세 정리

VLM 설계: FrozenLM·Flamingo를 참고했다. 언어 모델(2.3B GPT-2)을 고정해 학습 파라미터를 줄이고, Merged Attention으로 모듈화해 서빙에 유리하며, 대화 턴 순서대로 이미지·텍스트를 배치할 수 있다.
사전학습: 이미지에 맞는 캡션이 안 맞는 캡션보다 높은 확률을 갖도록 15M 이미지-캡션으로 VLP를 진행했다.
이미지 코멘팅 성능: New Generative(VLP+FT)가 in/out 0.85/0.80, Retrieval 0.76/0.62, 단순 Generative 0.45/0.39였다. VLP 모델은 도메인 간 성능차가 작아 일반화가 우수했다.
멀티턴 데이터셋: 포토챗 베타 누적 대화를 소스로 사진 기준 이전 10턴·이후 3턴을 문맥으로 구성하고 비식별화 후 레이블링해 2만 세션을 만들었다.
레이블링 원칙: 챗봇 답변이 틀리면 문맥에 맞게 재작성, 맞으면 다음 사용자 발화 뒤 답변을 작성했다. 반드시 텍스트·이미지를 동시에 이해해야 가능한 답변으로 구성하고 시간·프로필 정보와 모순 없게 했다.
학습 순서 실험: S→M 0.76 > 멀티턴만 M 0.69 > 동시 학습 S+M 0.63으로, 싱글턴 먼저 학습 후 멀티턴이 최선이었다.
언어 모델 고정 효과: 비전 인코더+프로젝션만 학습(LM 고정)이 Sensibleness 0.76으로 최고였다. LM까지 튜닝하면 Validation PPL은 낮아지지만 유명인 이름 남발 같은 오버피팅으로 성능이 떨어졌다.
다중 이미지-캡션 학습: 사전학습 시 50% 확률로 이미지-캡션 두 개를 함께 학습하면 0.76 vs 단일 0.70으로 multi-step reasoning에 도움이 됐다.
테스트셋: 문맥-이미지 무관·유관·이미지 여러 개 세 유형으로 평가했다.
결론: 표현력 한계는 VLP 생성 모델로, 단발성 학습 한계는 멀티턴 데이터셋으로 해결했다. 이미지·음성 등 멀티모달로 확장할 계획이다.