自然言語理解および生成のためのシンプルだが、破れないデータ拡張アプローチ

敵対的訓練は、学習された表現に強固な一般化能力を付与する効果があることが示されている。しかし、通常、注入される摂動の方向を決定するために高コストな計算が必要となる。本論文では、入力文の一部情報を消去して制限された視点（微調整段階で）を生成する、シンプルかつ効果的なデータ拡張戦略「cutoff」を導入する。このプロセスは確率的サンプリングに依存するのみであり、計算負荷はほとんど増加しない。さらに、Jensen-Shannon散度に基づく一貫性損失を用いて、これらの拡張サンプルを原理的な枠組みで訓練目的に組み込む。提案手法の有効性を検証するため、cutoffを自然言語理解および自然言語生成の問題に適用した。GLUEベンチマークにおいて、cutoffは単純であるにもかかわらず、いくつかの競合する敵対的アプローチと同等またはそれ以上の性能を達成することが示された。さらに、cutoffを機械翻訳に拡張したところ、Transformer Baseモデルに基づくBLEUスコアで顕著な向上が観察された。また、cutoffは敵対的訓練を常に上回り、IWSLT2014ドイツ語-英語データセットにおいて最先端の結果を達成した。