RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?

RLHF는 GPT-3.5·GPT-4·Claude·LLaMA2-chat 등 대형 생성 모델을 안전하고 유용하게 정렬하는 표준이지만, 모델 4개가 필요하고 학습이 불안정하다는 비용이 크다. 이 글은 RRHF·SLiC-HF·DPO·Rejection Sampling 같은 대안을 Vicuna 7B로 직접 실험해 성능·안정성·GPU 비용을 비교한다.

핵심 포인트

RLHF는 Actor·Reward·Critic·Reference 4개 모델을 돌려 GPU 메모리·학습 속도 부담이 크고, 리워드 모델이 약하면 mode collapse가 난다.
대안은 답변 후보와 점수를 오프라인으로 미리 만들어 랭킹/선호 loss로 학습해 모델 수를 줄인다: RRHF(랭킹 loss), SLiC-HF(pairwise), DPO(리워드 모델 없이 선호쌍 직접), Rejection Sampling(고득점 답변만 SFT).
실험에서 RLHF는 A100 8장이 필요했지만 대안들은 A100 4장으로 더 빠르게 학습됐다.
리워드 스코어는 Rejection Sampling이 평균 0.96으로 최고, GPT-4 Elo 평가도 Rejection Sampling(1660)이 1위였다.
부자연스러운 답변은 DPO가 0.5개로 가장 적었고, RRHF는 62.5개로 mode collapse 조짐을 보였다.

상세 정리

배경: RLHF의 3대 단점은 4모델 구조로 인한 메모리·속도 부담, 리워드·Critic 상호작용으로 인한 불안정과 하이퍼파라미터 민감성, 리워드는 높지만 부자연스러운 문장을 만드는 mode collapse다.
RRHF: 학습 전 여러 출처(Policy·ChatGPT·GPT-4·사람)에서 답변 후보를 모아 점수화하고, 후보 확률 크기가 리워드 순위와 맞도록 ranking loss를 최소화한다. 원 분포 이탈을 막으려 cross entropy를 더한다.
SLiC-HF: RRHF와 비슷하나 답변 두 개를 동시에 받아 우열을 가리는 pairwise 방식. 선호·비선호·참조 답변 확률로 margin loss를 구성한다.
DPO: 리워드 모델 없이 Bradley-Terry와 RL 목적함수를 결합해 선호쌍만으로 직접 최적화. 참조 모델 대비 확률비를 암시적 리워드로 쓴다.
Rejection Sampling: 문맥마다 N개 답변을 생성해 일정 점수 이상만(또는 Best-of-N 최고 1개만) 골라 SFT. 리워드·참조 모델이 필요 없지만 부정 신호를 주기 어렵다. Meta LLaMA 2-Chat도 이 방식 뒤 RLHF를 덧붙였다.
실험 세팅: Vicuna-v1.5 7B에 Anthropic HH 데이터셋. 리워드 스코어 평균은 Rejection Sampling 0.96 > DPO 0.83 > SLiC-HF 0.79 > SFT 0.75 > RRHF 0.37.
KL Divergence: RRHF·SLiC-HF는 최대값이 수백만~수억까지 튀어 원 분포에서 크게 이탈, RRHF의 mode collapse 근거가 됐다. DPO·Rejection Sampling은 이탈이 작았다.
인간 평가(100 문맥): 위험 답변은 RRHF 4.5·DPO 5가 적고 SFT 20·SLiC-HF 21이 많았다. 부자연스러운 답변은 DPO 0.5·Rejection Sampling 1이 적고 RRHF 62.5로 압도적이라 mode collapse가 확인됐다.
결론: Rejection Sampling·DPO·SLiC-HF가 RLHF의 장점을 유지하며 더 효율적·안정적이었고, 특히 Rejection Sampling은 성능, DPO는 안정성에서 우수했다. 핑퐁팀은 이를 내재화해 안전한 LLM 학습을 이어간다.