InfoBERT：情報理論的視点からの言語モデルのロバスト性向上

BERTなどの大規模言語モデルは、自然言語処理（NLP）の多様なタスクにおいて、最先端の性能を達成している。しかし、最近の研究では、こうしたBERTベースのモデルがテキスト攻撃（adversarial attacks）に対して脆弱であることが明らかになっている。本研究では、情報理論的視点からこの問題にアプローチし、事前学習された言語モデルのロバストなファインチューニングを実現する新しい学習フレームワークであるInfoBERTを提案する。InfoBERTは、モデル学習に用いる二つの相互情報量に基づく正則化項を含む：(i) 情報ボトルネック正則化項は、入力と特徴表現の間のノイズを含む相互情報量を抑制する；(ii) ロバスト特徴正則化項は、局所的なロバスト特徴とグローバル特徴の間の相互情報量を増加させる。本研究では、標準的な学習と adversarial 学習の両状況において、言語モデルの表現学習のロバスト性を理論的に分析・改善する体系的な手法を提供する。広範な実験により、InfoBERTが自然言語推論（NLI）および質問応答（QA）タスクにおいて、複数の adversarial データセット上で最先端のロバスト精度を達成することが実証された。本研究のコードは、https://github.com/AI-secure/InfoBERT にて公開されている。