大規模ニューラル言語モデルに対する敵対的訓練

一般化性能とロバスト性は、機械学習手法を設計する上で両方とも重要な課題である。敵対的訓練（adversarial training）はロバスト性を向上させることができるが、過去の研究では一般化性能に悪影響を及ぼす傾向があると報告されている。自然言語処理（NLP）分野においては、BERTのような大規模なニューラル言語モデルの事前学習により、さまざまなタスクにおいて顕著な一般化性能の向上が達成されており、敵対的ファインチューニングによりさらなる改善が可能である。しかし、これらのモデルは依然として敵対的攻撃に対して脆弱である。本論文では、敵対的事前学習が一般化性能とロバスト性の両方を向上させられることを示す。我々は、埋め込み空間における摂動を適用し、敵対的損失を最大化するように最適化することで、学習目的関数を正則化する汎用的なアルゴリズムALUM（Adversarial training for large neural LangUage Models）を提案する。本研究は、事前学習（スクラッチからの学習）、すでに訓練されたモデルに対する継続的（continual）事前学習、およびタスク固有のファインチューニングという、すべての段階における敵対的訓練の初めての包括的調査である。ALUMは、通常の状況および敵対的状況の両方において、BERTに対して広範なNLPタスクで顕著な性能向上を達成している。特に、極めて大規模なテキストコーパスで十分に訓練されたモデル（例：RoBERTa）に対しても、ALUMによる継続的事前学習は著しい改善をもたらすが、従来の非敵対的アプローチではその効果が得られない。さらに、ALUMはタスク固有のファインチューニングと組み合わせることで、追加の性能向上が可能となる。ALUMの実装コードは、https://github.com/namisan/mt-dnn にて公開されている。