EMNLP 2022 주요 논문 리뷰

EMNLP 2022에서 발표된 자연어 처리 연구 14편을 대화 메모리, 평가, 개인정보, 생성 제어, 검색, 지속 학습, 데이터 구축 관점으로 훑는다. 단순 참가 후기가 아니라 각 논문의 문제 정의와 방법, 주요 실험 결과를 압축해 당시 NLP 연구가 해결하려던 병목을 비교할 수 있다.

핵심 포인트

장기 대화 메모리는 기억의 추가·수정·삭제를 지원해 고정된 과거 기억 때문에 생기는 대화 모순을 줄였다.
대화 평가는 11개 인간 평가 차원을 줄여 Coherence, Likability, Topic depth 중심의 reference-free 모델을 만들었다.
생성형 언어 모델의 개인정보 기억, 다중 속성 생성, 다단계 검색 오류 전파 등 실제 적용 시 마주치는 위험과 한계를 다룬다.
InstructDial, PromptBERT, Re3는 각각 대화 instruction tuning, 문장 임베딩 편향, 장문 생성 일관성을 개선한다.
지속 학습과 인간-AI 협업 데이터 구축 연구는 적은 rehearsal과 품질 중심 데이터 설계가 대규모 모델 성능에 미치는 영향을 보여준다.

상세 정리

장기 대화 기억: 싱글 세션 케어콜 데이터를 멀티 세션·대화 요약·기억 활용 데이터로 재구성하고, 갱신 가능한 메모리로 고정 메모리 baseline보다 성능을 높였다.
FineD-Eval: FED의 11개 평가 기준을 상관관계로 6개 그룹에 묶고 차원 선택을 수행했다. 최종 세 차원으로 학습한 평가 모델이 인간 판단과 가장 높은 상관을 보였다.
개인정보 유출: 모델이 커질수록 memorization은 강해지지만 특정 인물의 정보를 연결하는 능력은 제한적이었다. 중복 제거, 개인정보 마스킹, DP-SGD, 생성 후 검사 방어책을 제시한다.
다중 속성 생성: 속성별 분포를 단순 보간하면 비대칭 분포에서 degeneration이 생긴다. 여러 분포의 교집합에서 직접 샘플링하는 attribute fusion을 제안한다.
생성형 다단계 검색: 문서와 질의를 고정 벡터로 표현하는 방식의 정보 손실과 단계별 오류 전파를 피하려고 검색 과정을 텍스트 생성으로 바꿨다. StrategyQA 등에서 Recall과 F1을 개선했다.
InstructDial: 59개 대화 데이터셋을 48개 text-to-text 과제로 변환해 T0-3B와 BART0를 학습했다. 보지 않은 6개 대화 과제의 zero-shot 성능이 GPT-3 등 비교 모델을 앞섰다.
Re3 장문 생성: Plan, Draft, Rewrite, Edit를 반복해 설정 불일치를 줄였고 이야기 일관성과 설정 연관성을 14~20% 개선했다.
지속 학습: instruction-tuned 언어 모델은 새 과제를 배울 때 1% rehearsal만 사용해도 이전 과제 성능을 상당 부분 유지했다. 이 능력은 규모보다 사전 학습에서 비롯된 것으로 분석했다.
레이블 불일치: 주관적 과제에서는 Human Label Variation을 노이즈가 아니라 복수의 타당한 정답 신호로 보고 데이터, 모델링, 평가 전 과정에 반영해야 한다고 주장한다.
PromptBERT: BERT 문장 임베딩의 anisotropy뿐 아니라 embedding bias를 짚고, 문장을 prompt의 MASK 표현으로 바꿔 SimCSE보다 높은 성능을 냈다.
지식 출처 추적: 학습 예제가 사실 생성에 미친 영향을 찾는 FTRACE 벤치마크에서 BM25가 gradient·embedding 기반 attribution보다 강한 결과를 보여 기존 기법의 한계를 드러냈다.
WANLI 데이터 구축: 데이터맵으로 어려운 패턴을 찾고 GPT-3로 후보를 과다 생성한 뒤 필터링과 인간 수정을 거쳤다. 4배 큰 MultiNLI보다 좋은 성능으로 양보다 품질의 가치를 보였다.