[NHN FORWARD 2021] 오픈소스로 쉽게 만드는 기계번역기

기계번역 파이프라인을 데이터 처리·모델링·디코딩·평가로 나누고, 평가 결과에 따라 앞단을 계속 보완하는 큰 순환 구조를 설명한다. 최초 병렬 데이터로 만든 base model을 이용하면 의미가 어긋난 문장 쌍을 걸러내고 단일어 문장을 번역해 새 병렬 데이터를 만들 수 있어, 데이터의 품질과 양을 함께 개선하는 작은 순환도 구성할 수 있다.

fairseq를 설치한 뒤 수집·정제된 소스와 타깃 문장을 train·validation으로 나누고, 음절 또는 언어 특성에 맞는 tokenization과 normalization을 적용한다. fairseq-preprocess 명령으로 text를 압축과 학습 속도에 유리한 binary 형태로 바꾸고 token dictionary를 생성해, 반복 가능한 학습 입력을 준비하는 과정을 보여준다.

fairseq-train의 최적화 인자와 model architecture를 선택해 Transformer를 학습하고 epoch별 checkpoint를 만든다. 마지막 여러 checkpoint의 weight를 평균 내는 간단한 ensemble로 성능을 높이고, 품질이 좋은 데이터나 특정 domain 데이터가 있다면 optimizer와 data loader를 reset해 전체 모델을 다시 학습하는 fine-tuning 절차와 적용 시 주의점을 설명한다.

interactive 명령은 개별 raw text를, generate는 binary corpus를 대량 번역하며 fairseq-score로 정답과 n-gram 중복을 계산한 BLEU를 측정한다. Base model의 번역과 기존 target을 비교해 noise를 제거하고, 단일어 corpus를 역번역해 synthetic parallel data를 만드는 방법을 다룬다. 최종 품질에는 일관된 데이터 정제, 규칙 기반 전후처리, BLEU와 함께하는 사람의 정성 평가가 필요함을 강조한다.