要約
言語モデル（LM）の事前学習は、テキストコーパスから様々な知識を学び、下流タスクに貢献します。しかし、既存の手法であるBERTは単一のドキュメントをモデル化し、ドキュメント間の依存関係や知識を捉えることができません。本研究では、リンクBERTと呼ばれる新しいLM事前学習手法を提案します。この手法は、ドキュメント間のリンク（例えばハイパーリンク）を利用します。テキストコーパスをドキュメントのグラフとして捉え、リンクされたドキュメントを同じコンテキストに配置することでLM入力を生成します。その後、マスク言語モデリングと我々が新たに提案するドキュメント関係予測という2つの自己監督目的でLMを事前学習します。実験結果から、LinkBERTは一般領域（Wikipediaのハイパーリンクで事前学習）とバイオメディカル領域（PubMedの引用リンクで事前学習）における様々な下流タスクにおいてBERTを上回ることが示されました。特にマルチホップ推論やショット数が少ない質問応答タスク（HotpotQAおよびTriviaQAで+5%の絶対的な改善）において効果的であり、我々のバイオメディカルLinkBERTはBioASQやUSMLEなどの様々なBioNLPタスクで新たな最先端性能を達成しました（+7%）。我々は事前学習済みモデルLinkBERTとBioLinkBERT、ならびにコードとデータをhttps://github.com/michiyasunaga/LinkBERT にて公開しています。