深層双方向言語-知識グラフの事前学習

言語モデル（LM）をテキストで事前学習することが、様々な下流の自然言語処理（NLP）タスクに役立つことが示されています。最近の研究では、知識グラフ（KG）がテキストデータを補完し、構造化された背景知識を提供することで、推論に有用な枠組みを形成できることが示されています。しかし、これらの研究は大規模な深層融合のために事前学習されておらず、テキストとKGの完全に結合した表現を獲得する可能性が制限されています。本稿では、DRAGON（Deep Bidirectional Language-Knowledge Graph Pretraining）と呼ばれる自己監督型アプローチを提案します。これは、テキストとKGから大規模に深層結合した言語-知識基盤モデルを事前学習する方法です。具体的には、当該モデルはテキストセグメントのペアと関連するKGサブグラフを入力として受け取り、両モダリティからの情報を双方向に融合します。このモデルはマスクされた言語モデリングとKGリンク予測という2つの自己監督型推論タスクを統合して事前学習されます。DRAGONは既存のLMやLM+KGモデルよりも多様な下流タスクにおいて優れた性能を発揮し、一般的な質問応答やバイオメディカルドメインでの質問応答において平均で+5%の絶対的な改善が見られます。特に、複雑な言語と知識の推論（長いコンテクストや多段階推論に関連する質問で+10%）、低リソースQA（OBQAおよびRiddleSenseで+8%）において顕著な性能を達成しています。また、様々なBioNLPタスクにおいて新しい最先端の結果を得ています。当社のコードと学習済みモデルはhttps://github.com/michiyasunaga/dragon から利用可能です。