AdvAug: 神経機械翻訳におけるロバストな adversarial augmentation

本稿では、ニューラル機械翻訳（NMT）のための新たな敵対的増強手法を提案する。本手法の核心的なアイデアは、観測された学習文対の周辺に中心を持つ滑らかな補間埋め込み空間を記述する、敵対的文に対する新たな周辺分布を用いて、仮想文を2つの周辺分布からサンプリングし、その上で仮想リスク（vicinal risk）を最小化することにある。さらに、本研究では、この仮想文の埋め込みをシーケンス・トゥ・シーケンス学習に活用する手法AdvAugについて検討する。中国語-英語、英語-フランス語、英語-ドイツ語の翻訳ベンチマークにおける実験結果から、AdvAugはTransformerベースのモデルに対して顕著な性能向上を示し（最大で4.9 BLEUポイントの向上）、追加のコーパスを用いずに、バックトランスレーションを含む他のデータ増強手法を大きく上回ることが明らかになった。