Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기

사전학습된 생성 모델을 그대로 쓰면 챗봇으로 부족하다. 이 글은 루다 2.0의 백본이 된 Luda Gen 1을 만들며, 생성 모델을 챗봇으로 빚어내는 과정에서 마주친 4가지 문제와 추가학습(SFT·Style Control) 비교를 다룬다.

핵심 포인트

생성 모델 기반 챗봇의 4대 문제는 진부한 표현 선호, 짧은 답변 편향, 페르소나 불일치, 어뷰징 대응 부족이다.
좋은 답변을 Google LaMDA를 참조해 Sensibleness·Specificity·Safeness·Better 4기준으로 정의했다.
추가학습은 고득점 답변만 학습하는 SFT와, 레이블 토큰을 붙여 특성을 직접 제어하는 Style Control(Prompt Tuning)을 비교했다.
SFT는 기존 성능을 유지하나 간접 학습, Style Control은 직접 제어가 가능하나 토큰 삽입으로 성능이 저하됐다.
평가 결과 SFT가 적합성+특정성·상대적 우수성에서 최고여서 백본으로 확정됐다.

상세 정리

문제1 진부한 표현: 다음 토큰 확률 예측이라 흔한 단어를 조합해 "응"·"그래 ㅋㅋㅋ" 같은 무성의 응답을 낸다.
문제2 짧은 답변: 메신저 대화가 대부분 짧아 학습 데이터에 단문이 과대 대표돼 성의 없다는 평가를 받는다.
문제3 페르소나 불일치: 다양한 데이터로 학습해 익명 일반인 관점만 생성하고 23세 대학생 같은 개성 반영에 실패한다.
문제4 어뷰징 대응: 학습에서 제거된 선정·공격·편향 표현에 대한 대응을 못 배워 동조하거나 엉뚱한 답변을 한다.
좋은 답변 기준: Sensibleness(문맥 논리 타당성), Specificity(그 문맥에서만 나올 고유성, "응"·"몰라"는 낮음), Safeness(공격·선정·편향 발언과 동조 회피), Better(다른 후보보다 기발·신선·재미).
SFT: 특성 점수 2점 이상 응답으로 추가학습한다. 기존과 같은 환경이라 성능 유지가 장점, 특성을 간접적으로만 학습하는 게 단점이다.
Style Control: 입력 문맥 뒤에 적합성·안전성 레이블 토큰을 삽입해 응답을 제어한다. 특성별 직접 학습이 장점, 토큰 삽입으로 기존 성능 저하가 단점이다.
평가 모델 4종: 응답 선택 모델(DB 검색 기준선), 기본 생성 모델(2.3B, 추가학습 없음), SFT, Style Control.
적합성+특정성(SSA): 기본 생성 < Style Control ~ 응답 선택 < SFT(최고).
상대적 우수성(Better): 기본 생성 < Style Control < SFT ~ 응답 선택.
안전 발화 비율: 기본 생성 < SFT·Style Control·응답 선택(동등 수준).
결정·결론: SFT를 백본으로 확정하고 추가 미세조정을 거쳐 2022년 10월 루다 2.0 출시의 기반으로 삼았다. 사전학습만으론 부족하고 "좋은 응답" 정의가 챗봇 행동을 좌우하며, 사전학습과 유사 환경의 추가학습이 더 효과적이었다. 단 "하지 말아야 할 말" 학습은 여전히 어렵고 소규모 모델은 제로샷/퓨샷 제어 실험이 제한적이다.