アライン、マスク、およびセレクト：言語表現モデルに常識知識を組み込むための単純な方法

最先端の事前学習言語表現モデル、例えばTransformerから導かれる双方向エンコーダー表現（BERT）は、一般的に常識的な知識やその他の知識を明示的に組み込んでいません。本研究では、常識的な知識を言語表現モデルに組み込むための新しい事前学習手法を提案します。私たちは、神経言語表現モデルの事前学習のために、常識に関連する選択肢付き質問回答データセットを構築しました。このデータセットは、提案した「アライメント、マスキング、およびセレクション」(AMS) メソッドによって自動的に生成されました。また、異なる事前学習タスクについても調査を行いました。実験結果は、提案手法による事前学習後に微調整を行うことで、CommonsenseQAやWinograd Schema Challengeなどの2つの常識関連ベンチマークで従来の最先端モデルよりも大幅な改善が達成されることを示しています。さらに、提案手法による事前学習後の微調整モデルは、文章分類や自然言語推論などの他のNLPタスクにおいても元のBERTモデルと同等の性能を維持することが確認されました。これらの結果は、提案手法が常識関連NLPタスクにおいて大幅な改善をもたらしつつ、一般的な言語表現能力を低下させないことを証明しています。