ACL 2023 리뷰

스캐터랩 ML 리서치·데이터 기획 인원이 3일간 온라인 워크숍으로 ACL 2023의 주목할 논문 18편을 골라 리뷰한 정리다. LLM의 유머 이해, chain-of-thought, LLM 평가자 활용, 인스트럭션 학습, 다국어·증류 등 최신 NLP 흐름을 훑는다.

핵심 포인트

Chain-of-thought는 추론 단계가 틀려도 표준 CoT 성능의 80~90%를 내, 논리적 정확성보다 관련성·단계 순서가 더 중요하다는 분석이 나왔다.
ChatGPT를 평가자로 쓰면 재현성이 높고 비용이 낮지만, 사실성이 중요한 태스크엔 부적합하다.
여러 논문이 모델이 인스트럭션의 의미보다 출력 형식 같은 표면 패턴을 학습한다고 지적한다(단순화·왜곡 인스트럭션 실험).
CoT 증류로 0.3B급 작은 학생 모델이 1.3B~6.7B 교사 모델의 추론 성능을 따라잡거나 능가한다.
데이터셋·모델이 서구 문화 관점에 치우쳐 있어 다양한 레이블러 구성이 필요하다는 NLPositionality 지적이 있다.

상세 정리

유머 이해: New Yorker Caption Contest로 평가. GPT-3·GPT-4가 매칭·랭킹은 괜찮지만 상세 설명 생성은 부족했다.
Chain-of-thought 분석: 잘못된 추론 단계도 표준 CoT의 80~90% 성능. 관련성·단계 순서가 논리적 정합성보다 영향이 컸다.
LLM 평가자: 스토리 생성 평가에서 ChatGPT가 사람보다 재현성이 높고 저렴하나 사실성 의존 태스크엔 부적합했다.
Conditional Generation 벤치마킹: few-shot 프롬프팅만으론 모델 비교가 부족해, 다양한 태스크에 태스크당 소수 예시로 평가하기를 권했다.
LLM-Blender: pairwise 랭킹과 생성 융합 앙상블로 성능은 오르나 여러 모델 호출로 추론 시간이 늘었다.
NLPositionality: 기존 모델이 서구 문화 관점을 반영해, 데이터셋 제작에 다양한 레이블러를 권했다.
데이터 생성: temperature 샘플링·logit 억제로 다양성을 확보하고, 사람 레이블 교체가 downstream 성능을 개선했다.
GPT-3 어노테이터: 세 방식 중 프롬프트 유도 비레이블 어노테이션이 최선이나 개선폭은 제한적이었다.
인스트럭션 추종: 단순화·왜곡 인스트럭션 실험에서 모델이 출력 형식 같은 표면 패턴을 학습했다.
Zero-shot: Non-parametric Prompting이 파인튜닝 없이 텍스트 분류에서 GPT-3·ChatGPT를 앞섰다.
다국어 파인튜닝: 다국어 데이터셋 학습이 언어 전반 성능을 높이고, 사람 작성 태스크는 기계번역 프롬프트로도 이득을 봤다.
NER 일반화: CoNLL++ 벤치마크로 사전학습 트랜스포머가 최신 데이터에 잘 일반화했고, 모델 크기·코퍼스 최신성이 영향을 줬다.
인스트럭션 튜닝 검증: 단순화한 인스트럭션도 원본과 유사 성능이라, 모델이 태스크 정의를 진짜 학습하는지 의문이 제기됐다.
CoT 증류·추론 교사: 125M~1.3B 작은 모델이 큰 교사에게서 단계적 추론을 학습했고, Fine-tune-CoT로 0.3B 학생이 1.3B~6.7B 교사와 대등 이상을 냈다.
PeaCoK: 페르소나 속성을 5유형 지식그래프로 정리해 대화 시스템에 일관된 캐릭터를 부여했다.
Weakly Supervised 비판: 깨끗한 validation set이 핵심 의존성이며 단순 파인튜닝이 복잡한 WSL보다 나은 경우가 많았다.