要約
知識埋め込み（Knowledge Embeddings: KE）は、エンティティとリレーションを連続的なベクトル空間に埋め込むことで知識グラフ（Knowledge Graph: KG）を表現する手法である。既存の方法は主に構造に基づいたものや説明に基づいたものに分類される。構造に基づいた方法は、KGの内在的な構造を保つ表現を学習するが、実世界のKGにおける豊富な長尾エンティティには限られた構造情報しか提供できないため、十分な表現が得られない。説明に基づいた方法はテキスト情報を活用し、言語モデルを使用する。この方向性での従来のアプローチは、構造に基づいた方法を僅かに上回る程度であり、高コストのネガティブサンプリングや制約のある説明要件などの問題を抱えている。本論文では、言語モデルを使用して知識埋め込みを導出することを目指すLMKE（Language Model based Knowledge Embeddings）を提案する。LMKEは長尾エンティティの表現を豊かにするだけでなく、従来の説明に基づいた方法の問題も解決することを目指している。我々は対照学習フレームワークを用いて説明に基づくKE学習を定式化し、訓練と評価の効率性向上を目指した。実験結果は、リンク予測と三重分類のKEベンチマークにおいてLMKEが最先端の性能を達成しており、特に長尾エンティティに対して優れた結果を得ていることを示している。