EMNLP-IJCNLP 2019 주요 NLP 논문 프리뷰

EMNLP-IJCNLP 2019 승인 논문의 제목 통계와 관심 논문 12편을 분석해 당시 NLP 연구 흐름을 압축한다. Generation, multi-task·multilingual, knowledge, BERT가 주요 축으로 나타났고 각 논문의 문제 설정과 모델 구조, 평가 결과를 기술적으로 짚는다. 단순 학회 안내가 아니라 embedding, 생성, 감정 분석, 편향, domain adaptation, 평가 metric까지 폭넓게 다룬 연구 리뷰다.

핵심 포인트

승인 논문 제목에서 generation 71회, multi 58회, knowledge 49회가 나타났고 BERT 관련 representation·transfer 연구가 빠르게 늘었다.
FlowSeq는 invertible flow를 사용해 완전 non-autoregressive 생성과 문장 길이에 무관한 일정한 decoding 시간을 달성했다.
Context-aware VAE와 graph convolution은 각각 상식 추론의 다양한 배경, aspect sentiment의 syntactic dependency를 모델링했다.
CrossWeigh와 annotator bias 연구는 잘못된 label과 작업자별 편향이 dataset 평가를 어떻게 왜곡하는지 보여줬다.
Contextual embedding 분석은 BERT·ELMo·GPT-2의 layer별 문맥성이 다르고 embedding 공간이 anisotropic하다는 점을 측정했다.
MoverScore는 contextual embedding과 Earth Mover Distance로 BLEU·ROUGE보다 사람의 생성 품질 판단에 가까운 metric을 제안했다.

상세 정리

Paraphrase robustness: contextual embedding이 의미가 같은 바꿔쓰기에도 크게 변하는 문제를 hinge loss 기반 retrofitting으로 보정했다. MRPC paraphrase를 사용한 ELMo가 문장 분류·유사도·추론 평가에서 개선됐다.
Multi-aspect sentiment: CAN은 서로 다른 aspect의 attention이 noise가 되는 문제를 aspect sentiment classification과 category detection의 두 보조 task로 나눴다. orthogonal regularization으로 두 attention이 겹치지 않게 했다.
빠른 생성: FlowSeq는 세 가지 invertible operation으로 flow 단위를 만들고 모든 token을 병렬 생성했다. WMT와 IWSLT 번역에서 기존 non-autoregressive 모델보다 높았고 target 길이에 상관없이 일정한 decoding 시간을 보였다.
상식 추론: CWVAE는 한 사건에 여러 intent가 있을 수 있고 외부 배경이 필요하다는 점을 반영했다. 인과관계가 있는 이야기 corpus로 pretrain한 뒤 Event2Mind와 ATOMIC에 fine-tuning해 정확도와 다양성을 함께 높였다.
Syntactic sentiment: aspect-specific GCN으로 dependency 정보를 모으고 masking한 aspect representation을 LSTM 문장 representation과 attention했다. 긴 거리 dependency를 포착해 여러 Twitter·restaurant dataset에서 높은 성능을 냈다.
외부 지식 attention: FrameNet과 Thesaurus에서 relation indicator를 만들고 key-value attention으로 문장에 주입했다. self-attention representation과 knowledge representation을 결합해 relation extraction에 활용했다.
생성 편향: 인구 집단을 나타내는 prompt로 생성한 문장의 긍정·부정적 대우를 `regard` metric으로 측정했다. 당시 최고 생성 모델도 demographic bias를 포함했고 regard classifier로 숨은 편향을 찾을 수 있었다.
Label 오류: CoNLL03 NER test set의 5.38%가 잘못 label됐음을 수작업으로 확인했다. CrossWeigh는 오류 가능성이 높은 training example의 weight를 낮춰 세 dataset과 여러 NER 모델에서 성능을 개선했다.
Domain adaptation: AdaMRC는 question generator, MRC module, domain classifier로 구성된다. label이 많은 source domain과 label 없는 target domain을 adversarial하게 정렬해 in-domain annotation 부족을 보완했다.
Annotator bias: worker ID를 feature로 주면 성능이 오르지만 학습에 없던 worker의 test data에서는 떨어졌다. train과 test annotator를 분리하고 작업자 편향을 지속 점검해야 함을 보였다.
Contextuality 측정: IntraSim, SelfSim, MEV로 모델·layer별 문맥성을 정량화했다. ELMo는 상위, BERT는 중간, GPT는 하위 layer의 기여가 컸고 contextual embedding은 특정 방향으로 쏠린 anisotropic geometry를 보였다.
생성 평가: MoverScore는 BERT·ELMo embedding 사이의 이동 거리를 사용해 표면 token 일치보다 의미 유사성을 평가했다. 여러 생성 task에서 기존 metric보다 사람의 품질 점수와 높은 상관성을 목표로 했다.