要約
我々は、ニューラル機械翻訳（NMT）の性能を向上させるためのシンプルながら有効な学習戦略「Bi-SimCut」を提案する。この手法は、二方向の事前学習（bidirectional pretraining）と単方向の微調整（unidirectional fine-tuning）の二段階から構成される。両プロセスにおいて、SimCutと呼ばれるシンプルな正則化手法を活用している。SimCutは、元の文とカットオフ（切断）された文ペアの出力分布間の一貫性を強制するものであり、バックトランスレーションによる追加データの利用や大規模事前学習モデルの統合を必要としない。にもかかわらず、Bi-SimCutは5つの翻訳ベンチマーク（データサイズは160Kから20.2Mまで）において優れた翻訳性能を達成した。具体的には、IWSLT14データセットにおいてen→de翻訳で31.16、de→en翻訳で38.37のBLEUスコアを、WMT14データセットでen→de翻訳30.78、de→en翻訳35.15を、WMT17データセットでzh→en翻訳で27.17を記録した。SimCutは新たな手法ではなく、Shenら（2020）が提唱した「Cutoff」の簡略化・NMT向けに適応されたバージョンであり、摂動に基づく手法と見なすことができる。SimCutおよびBi-SimCutの普遍性とシンプルさを踏まえ、今後のNMT研究における強力なベースラインとしての役割を果たすものと期待している。