SpanBERT: スパンの表現と予測による事前学習の改善

私たちは、テキストの区間をよりよく表現し予測するための事前学習手法であるSpanBERTを紹介します。当手法は、(1) 連続したランダムな区間をマスキングすること（個々のトークンではなく）、(2) マスキングされた区間の境界表現をその区間全体の内容を予測するために訓練すること（その中にある個々のトークン表現に依存せずに）という点で、BERTを拡張しています。SpanBERTは一貫してBERTや我々がより良く調整したベースラインモデルを上回り、質問応答や共参照解消などの区間選択タスクにおいて大幅な改善を示しています。特に、BERT-largeと同じ訓練データとモデルサイズを使用した単一モデルで、SQuAD 1.1と2.0においてそれぞれ94.6%および88.7%のF1スコアを得ています。また、OntoNotes共参照解消タスクにおいて新たな最先端の結果（79.6% F1）を達成し、TACRED関係抽出ベンチマークでも優れた性能を発揮し、GLUEでも改善が見られています。