要約
いくつかのモデルは、知識グラフの完成（リンク予測）問題に取り組んできたが、知識グラフを比較的低次元に埋め込む手法を採用している。しかし、最新の性能を達成するには、埋め込みの次元数を著しく増加させる必要があり、巨大な知識ベースにおいてスケーラビリティの問題を引き起こす。近年、Transformerは知識グラフの強力なエンコーダとして成功裏に利用されているが、現存するモデルも依然としてスケーラビリティの課題を抱えている。この制約を克服するため、表現力豊かな低次元埋め込みを獲得できるTransformerベースのモデルを提案する。本モデルでは、エンティティと関係の間の相互情報量を捉えるために、クエリ依存の投影を実現する鍵として多数の自己注意ヘッドを活用する。WN18RRおよびFB15k-237という標準的なリンク予測ベンチマークにおける実験結果から、本モデルが現在の最先端モデルと比較して優れた性能を発揮することが示された。特に、最近の5つの最先端競合モデルと比較して、埋め込みの次元数を平均で66.9%も大幅に削減しながら、有望な成果を達成した。