要約
事実知識を事前学習済み言語モデル（PLM）であるBERTなどのモデルに組み込むことは、近年の自然言語処理（NLP）研究における新たなトレンドである。しかし、既存の多くは外部知識統合モジュールを、修正された事前学習損失関数と組み合わせ、大規模コーパス上で再び事前学習プロセスを再実装するアプローチを採用している。このような再事前学習は通常、計算リソースを大量に要し、異なる知識グラフ（KG）を備えた別のドメインに容易に適応できないという課題がある。さらに、これらの手法の多くは、テキスト文脈に応じて知識コンテキストを動的に埋め込むことができず、また知識の曖昧性（ambiguity）問題に対処しづらいという課題を抱えている。本論文では、ファインチューニングプロセスに基づく新しい知識認識型言語モデルフレームワークを提案する。このフレームワークは、既存のPLMに、知識グラフ（KG）から抽出されたテキストと多関係型サブグラフを統合した一貫した知識強化テキストグラフを付加する。さらに、階層的関係グラフに基づくメッセージパッシング機構を設計し、注入されたKG表現とテキスト表現が相互に更新可能であり、同一のテキストで表される曖昧なエンティティを動的に選択できるようにしている。実験結果から、本モデルはBERTなどの既存言語モデルに、知識グラフから世界知識を効率的に統合でき、他の知識強化モデルと比較して機械読解（MRC）タスクにおいて顕著な性能向上を達成できることを示した。