AdvAug: 신경망 기계 번역을 위한 강건한 적대적 증강

이 논문에서는 신경망 기반 기계 번역(NMT)을 위한 새로운 적대적 증강(adversarial augmentation) 방법을 제안한다. 주요 아이디어는 관측된 학습 문장 쌍 주변에 중심을 둔 매끄럽게 보간된 임베딩 공간을 설명하는, 새로운 적대적 문장용 근접 분포를 포함한 두 개의 근접 분포로부터 가상 문장을 샘플링하여, 가상 위험(vicinal risk)을 최소화하는 것이다. 이후 우리는 이러한 가상 문장의 임베딩을 시퀀스-투-시퀀스 학습에 활용하여 NMT 모델을 훈련하는 방법, 즉 AdvAug에 대해 논의한다. 중국어-영어, 영어-프랑스어, 영어-독일어 번역 벤치마크에서의 실험 결과, AdvAug는 Transformer보다 상당한 성능 향상을 보였으며(최대 4.9 BLEU 점수 개선), 추가 문헌 자료를 사용하지 않고도 다른 데이터 증강 기법(예: 역번역)보다 뚜렷한 성능 우위를 보였다.