要約
最近、深層ニューラルネットワークを用いた言語モデルにおいて大きな進展が見られています。しかし、実際の運用では大規模なニューラル言語モデルは過学習に傾きやすいことが示されています。本論文では、ニューラル言語モデルの正則化のために単純でありながら非常に効果的な敵対的訓練メカニズムを提案します。このアイデアは、モデルを訓練する際に出力埋め込み層に敵対的ノイズを導入することです。我々は最適な敵対的ノイズが単純な閉形式解を持つことを示し、これにより単純かつ時間効率の良いアルゴリズムを開発することが可能となります。理論的には、我々の敵対的メカニズムが埋め込みベクトルの多様性を促進し、モデルの堅牢性を向上させることを示しています。経験的には、ペン・ツリーバンク（PTB）とウィキテキスト-2における言語モデリングの単一モデルでの最先端結果を改善しており、それぞれテストパープレキシティスコアで46.01と38.07を達成しています。機械翻訳への応用では、WMT14英独翻訳タスクとIWSLT14独英翻訳タスクにおいて様々なトランスフォーマーベースの翻訳基準モデルよりもBLEUスコアが向上することを示しています。