要約
知識グラフが大規模な複雑な関係を表現できる能力により、知識表現、質問応答、推薦システムなど、さまざまな用途への導入が進んでいる。しかし、知識グラフはしばしば情報が不完全であるため、知識グラフ補完（Knowledge Graph Completion）の課題が生じる。事前学習済みおよび微調整された言語モデルはこの分野において有望な成果を示しているが、それらは知識グラフに内在するエンティティ型や関係型といった重要な構造的情報を無視しているという課題がある。本研究では、エンティティ／関係のタイプを明確に区別できる新たなエンティティ／関係埋め込み層を導入した「知識グラフ言語モデル（Knowledge Graph Language Model: KGLM）」のアーキテクチャを提案する。このアーキテクチャにより、モデルは知識グラフの構造をより適切に学習可能となる。本研究では、知識グラフから抽出された三項組（triples）を用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習した後、標準的な微調整フェーズを実施することで、ベンチマークデータセットにおけるリンク予測タスクにおいて、新たなSOTA（最先端）性能を達成することを示した。