StructBERT: 言語構造を事前学習に組み込むことで深層言語理解を実現する

最近、事前学習言語モデルのBERT（およびその堅牢に最適化されたバージョンであるRoBERTa）は、自然言語理解（NLU）において大きな注目を集め、感情分類、自然言語推論、意味的文類似性、質問応答などの様々なNLUタスクで最先端の精度を達成しています。Elman [8]の線形化探索作業に着想を得て、私たちは言語構造を事前学習に組み込むことでBERTを新たなモデルStructBERTへと拡張しました。具体的には、単語と文の順序を最大限に活用するため、StructBERTを単語レベルと文レベルでの言語構造を利用した2つの補助タスクで事前学習させました。これにより、新モデルは下流タスクが要求する異なるレベルの言語理解に適応します。構造的事前学習を受けたStructBERTは、GLUEベンチマークで89.0（すべての公開済みモデルを上回る）、SQuAD v1.1質問応答でのF1スコアで93.0、SNLIでの精度で91.7という驚くほど良い実証結果を示しています。