要約
深層ニューラルモデル（例：Transformer）は、本質的に不適切な特徴（spurious features）を学習し、入力とラベルの間に「ショートカット」を形成するため、汎化性能およびロバスト性が損なわれる。本研究では、Transformerに基づく事前学習言語モデル（例：BERT）における自己注意機構（self-attention mechanism）を、よりロバストなバージョンへと発展させる。我々は、アドバーシャル・セルフアテンション（Adversarial Self-Attention, ASA）機構を提案する。ASAは、注意機構にアドバーシャルなバイアスを導入することで、モデルが特定のキーワードなどの特徴に依存する傾向を効果的に抑制し、より広範な意味構造の探索を促進する。本研究では、事前学習および微調整の両フェーズにおいて、広範なタスクに対して包括的な評価を実施した。事前学習段階では、長期間の学習ステップにおいて、従来の単純な学習法と比較してASAが顕著な性能向上を示した。微調整段階においても、汎化性能およびロバスト性の両面で、ASAを導入したモデルは従来のモデルを大きく上回った。