SPECTER：引用情報を活用したトランスフォーマーを用いた文書レベル表現学習

表現学習は自然言語処理システムにおいて重要な要素である。近年のTransformerベースの言語モデル、例えばBERTは強力なテキスト表現を学習するが、これらのモデルはトークンレベルおよび文レベルの学習目標に特化しており、文書間の関連性に関する情報を活用していないため、文書レベルの表現力に限界がある。科学文書の分類や推薦といった応用においては、こうした埋め込み表現（embedding）が最終タスクでの優れた性能を発揮する。本研究では、文書レベルの関連性を強力な信号として用いることで、Transformer言語モデルを事前学習するというアプローチに基づき、科学文書の文書レベル埋め込みを生成する新しい手法SPECTERを提案する。従来の事前学習言語モデルとは異なり、SPECTERはタスク固有の微調整（fine-tuning）なしに、下流の応用に容易に適用可能である。さらに、文書レベルモデルに関するさらなる研究を促進するために、引用予測から文書分類、推薦に至るまで7つの文書レベルタスクを含む新しい評価ベンチマーク「SciDocs」を導入する。実験の結果、SPECTERがベンチマーク上で多数の競合モデルを上回ることを示した。