핑퐁팀의 EMNLP 2019 논문 리뷰

EMNLP 2019에서 핑퐁팀이 주목한 여섯 연구를 공감 대화, 이미지·언어 사전학습, noisy label, data-to-text 생성, 멀티모달 의도, 숫자 표현으로 나눠 리뷰한다. 각 논문의 배경과 모델 구조, 데이터셋, 실험 결과, 대화 시스템에 적용할 지점을 설명해 행사 후기보다 기술 검토에 가깝다. 특히 실제 대화 서비스가 요구하는 감정 반응과 생성 신뢰성, 다양한 입력 표현을 공통 문제로 본다.

핵심 포인트

MoEL은 감정별 listener decoder와 meta-listener를 두어 대화 문맥의 감정 분포에 따라 공감 응답을 결합한다.
LXMERT는 객체·언어·cross-modality Transformer를 함께 사전학습해 이미지 질문응답 두 벤치마크에서 당시 최고 성능을 냈다.
Noisy sentiment classification은 clean 예측 network와 noise transition network를 번갈아 학습해 잘못된 레이블의 영향을 줄인다.
Data-to-text 비교에서는 end-to-end 모델이 pipeline보다 성능과 미지 도메인 일반화가 낮고 hallucination도 더 많이 보였다.
숫자 probing 실험은 character-level embedding이 강했고 BERT는 subword 표현 탓에 큰 수와 실수 이해에서 약점을 보였다.

상세 정리

MoEL 문제: 공감 응답은 하나의 감정 label만 조건으로 넣는다고 해결되지 않는다. 대화에는 여러 감정이 섞이고 어떤 반응이 적절한지도 함께 배워야 한다.
MoEL 구조: 문맥 encoder가 n개 감정에 대한 state를 만들고 감정별 listener decoder가 후보 표현을 생성한다. meta-listener는 감정 분류 확률로 listener 출력을 soft combination한다.
MoEL 결과: 자동 평가와 사람 평가에서 경쟁 baseline을 넘었고 모델이 문맥에 맞는 listener에 집중하는 모습을 보였다. 감정별 반응을 해석할 수 있다는 점도 장점이다.
LXMERT 표현: object relationship encoder는 detector feature와 위치를, language encoder는 token 관계를, cross-modality encoder는 양방향 cross-attention을 학습한다.
LXMERT 목적함수: masked language, masked object feature 회귀, object label 분류, 이미지-문장 일치, image QA를 함께 사용한다. 서로 다른 modality를 self-supervised 방식으로 정렬한다.
LXMERT 관찰: 두 VQA benchmark에서 최고 성능을 냈다. 언어 encoder를 기존 BERT로 초기화하면 오히려 낮아져 single-modality 표현이 항상 멀티모달 학습에 유리하지 않음을 보였다.
Noisy label 가정: 신경망은 쉬운 예시를 먼저 기억하고 noisy label은 clean label이 transition matrix를 거쳐 바뀐 결과라고 본다.
NET-AB 학습: A-network가 clean sentiment를 예측하고 AB-network가 noise transition을 추정한다. A를 5 epoch 먼저 학습한 뒤 AB와 A를 교대로 갱신하며 batch에서 clean sample을 선택한다.
Noisy label 결과: 인위적으로 label을 훼손한 영화·노트북·식당 데이터와 실제 별점 기반 noisy 데이터 모두에서 기존 방법보다 성능이 높았다.
Data-to-text pipeline: 응답 개체 순서, 텍스트 구조화, 어휘 선택, 지시 표현 생성의 네 단계로 나누고 각 모듈을 GRU나 Transformer로 구현했다.
Pipeline 비교: GRU는 순서와 구조화에서, Transformer는 어휘 선택에서 강했다. end-to-end는 전체 성능이 낮고 훈련에 없던 도메인에서 하락폭이 컸으며 입력에 없는 내용을 만드는 hallucination이 나타났다.
멀티모달 의도: Instagram 게시글 약 1,300개를 intent 8종, 이미지·텍스트 관계 3종, 기호학적 결합 3종으로 주석한 MDID 데이터셋과 baseline을 제안했다.
숫자 probing: embedding이 숫자의 크기와 연산 정보를 담는지 list maximum, 값 decoding, addition 세 과제로 검사했다.
숫자 결과: Char-CNN과 Char-LSTM이 일관되게 강해 character-level 표현이 중요했다. BERT는 `[0,9999]` 최대값 찾기에서 정확도 52%였고 실수에도 취약했다.
실무 연결: 여섯 연구는 공감, 멀티모달 문맥, 불완전한 데이터, 생성 hallucination처럼 오픈도메인 챗봇이 실제로 부딪히는 문제를 각각 다른 층에서 다룬다.