RLHF - 어떻게 LLM의 성능을 향상시킬 수 있을까?

LLM이 사전 학습 후에도 부적절한 답변을 생성하는 문제를 사람의 피드백 기반 강화 학습(RLHF)으로 해결하는 원리를 다룬다. SFT, Reward Model, PPO, KL Divergence, DPO, Rejection Sampling 등 LLM 정렬(alignment)의 핵심 기법을 단계별로 설명한다.

핵심 포인트

LLM은 Next-token prediction으로 학습해 확률적으로 높은 문장을 생성하므로 환각이나 비윤리적 답변이 발생한다.
SFT로 사람 의도에 맞는 응답을 학습하고, RLHF로 선호도 정렬을 추가해 두 단계로 모델을 고도화한다.
Reward Model은 (Prompt, Chosen, Rejected) 데이터로 학습해 응답 품질을 자동 평가한다.
PPO로 Reward를 최대화하되 KL Divergence로 레퍼런스 분포 이탈을 억제해 리워드 해킹을 방지한다.
DPO는 Reward Model 없이 선호 데이터로 직접 학습해 RLHF보다 간단하고 안정적이며 성능도 더 높다.

상세 정리

LLM 문제: 방대한 사전 학습 데이터에 욕설, 편향, 부정확한 정보가 포함돼 모델이 부적절한 답변을 생성한다. Next-token prediction 목적 함수가 사람 의도가 아닌 확률 최대화를 목표로 하기 때문이다.
SFT(Supervised Fine-tuning): 사람이 작성한 (Instruct, Input, Response) 쌍으로 파인튜닝해 모델이 사람 의도에 맞는 응답을 학습한다.
Reward Model 학습: (Prompt, Chosen Response, Rejected Response) 데이터를 Bradley-Terry 모델로 학습해 Chosen이 Rejected보다 좋을 확률을 최대화하는 방향으로 파라미터를 업데이트한다.
PPO 강화학습: Reward Model이 산출한 보상을 PPO 알고리즘으로 최적화해 높은 보상을 받는 응답을 생성하도록 LLM을 학습한다.
KL Divergence 정규화: 모델이 Reward Model의 취약점을 집중 공략하는 리워드 해킹이나 Mode Collapse에 빠지지 않도록 레퍼런스 모델 분포에서 너무 벗어나면 패널티를 준다.
RLHF 한계: 생성 모델, Reward Model, 레퍼런스 모델 3개가 상호작용해 학습이 불안정하고 과적합이 쉬우며 하이퍼파라미터에 민감하다.
DPO(Direct Preference Optimization): Reward Model 없이 선호 데이터를 직접 사용해 긍정 응답 확률을 높이고 부정 응답 확률을 낮추는 방향으로 학습한다. GPU 자원 절약, 학습 안정성, 성능 모두 RLHF보다 우수하다.
Rejection Sampling(Best-of-N): N개 응답 후보를 생성해 Reward Score가 높은 것을 SFT 학습 데이터로 채택하는 방법. Reward Model이나 레퍼런스 모델 없이도 높은 성능을 내지만 Negative Sample 학습 기회가 적다.
Llama-2-Chat 전략: Rejection Sampling Fine-tuning과 RLHF를 순차 결합해 두 방식의 장점을 모두 활용했다.