EMNLP 2020 프리뷰

EMNLP 2020의 승인 논문 제목을 분석하고 생성, 대화, 지식이라는 세 흐름을 뽑은 뒤 관련 논문 7편을 기술적으로 리뷰한다. 보조 task를 이용한 대화 생성부터 token 빈도 편향, embedding probing, persona 일관성, 다국어 distillation, 상식 추론까지 폭넓게 다룬다. 학회 참가기가 아니라 모델 구성과 평가 결과를 압축한 연구 동향 글이다.

핵심 포인트

논문 제목에서 generation은 105회, dialogue는 관련 표기까지 79회 등장했고 knowledge graph·grounding·distillation 연구도 두드러졌다.
네 가지 복원 보조 task를 대화 생성과 함께 학습하면 단순한 모델로도 자동 평가와 사람 평가를 모두 개선할 수 있었다.
F2F2-Softmax는 token을 class와 class 내부 token 확률로 분해해 자주 나오는 표현으로 쏠리는 생성 편향을 줄였다.
Intrinsic Probing은 BERT와 fastText의 통사 정보가 전체 768차원보다 훨씬 작은 부분 공간에 담긴다는 결과를 냈다.
다국어 sentence embedding은 번역 parallel corpus와 monolingual Teacher의 embedding을 함께 맞추는 distillation로 50개 이상 언어에 확장됐다.
Self-Talk는 외부 지식 없이 생성 모델이 질문과 설명을 스스로 만들게 해 zero-shot 상식 QA를 크게 개선했다.

상세 정리

학회 추이: generation 연구는 다양성, 일관성, 편견 감소로 세분화됐다. dialogue는 여러 능력이 결합된 task로 비중이 커졌고, knowledge는 QA를 넘어 생성·감정 분석·domain adaptation·경량화로 확장됐다.
Multi-turn response: 단순 대화 생성 모델에 word order, utterance order, masked word, masked utterance 복원 task를 함께 최적화했다. 복잡한 architecture 없이 생성 품질과 속도를 개선했다.
생성 다양성: F2F2-Softmax는 다음 token 확률을 token class 확률과 class 내부 token 확률의 곱으로 factorize했다. MefMax로 class 크기와 내부 빈도 분포를 균형 있게 구성해 WikiText-103과 한국어 가사에서 다양성을 높였다.
Embedding probing: 각 dimension을 선택·배제하며 통사 label 성능을 보는 방법을 제안했다. 계산을 줄이기 위해 dimension을 multivariate Gaussian으로 근사했다.
저차원 결과: 대부분의 통사 구조는 50차원 이내로 표현됐다. BERT는 약 35차원, fastText는 평균 10차원으로도 정보를 담았고 다른 언어에서도 유사한 현상이 나타났다.
Persona 일관성: rational speech acts 기반 imaginary listener를 둬 self-conscious speaker를 학습했다. Distractor Memory Network로 persona distractor를 고르며 기존 대화 system 구조를 바꾸지 않고 평가를 개선했다.
World Scope: 언어 AI의 발전을 corpus, internet, perception, embodiment, social의 다섯 단계로 설명했다. 텍스트 규모 확대만으로는 reporting bias, 물리 상호작용, 감정과 의도 학습의 한계를 넘기 어렵다고 본다.
다국어 distillation: 번역된 source·target 문장의 embedding을 같게 만드는 동시에 Student의 source embedding을 monolingual Teacher와 일치시켰다. STS, bitext retrieval, cross-lingual search에서 기존과 비슷하거나 더 좋은 결과를 냈다.
확장성: 이 방법은 50개 이상 언어에서 검증됐고 400개 이상 언어로 sentence embedding을 확장하는 코드도 공개됐다.
Self-Talk 질문 생성: context에 질문형 prefix를 붙이고 nucleus sampling으로 다섯 질문을 생성한다. 각 질문에 대한 clarification을 다시 생성해 모델 내부의 상식을 텍스트로 끌어낸다.
Self-Talk 추론: clarification과 원래 context를 결합한 후보 중 perplexity가 가장 낮은 답을 고른다. 외부 knowledge graph나 retrieval 없이 zero-shot baseline을 크게 앞섰고 외부 지식 방식과도 비슷한 성능을 냈다.
종합: 7편은 가벼운 대화 생성, 다양성 제어, representation 해석, persona, grounding, multilinguality, commonsense라는 서로 다른 병목을 보여준다. 공통점은 모델 크기만 늘리기보다 학습 objective와 평가 구조를 다시 설계한다는 점이다.