2ヶ月前

2次元畳み込み知識グラフ埋め込み

Tim Dettmers; Pasquale Minervini; Pontus Stenetorp; Sebastian Riedel
2次元畳み込み知識グラフ埋め込み
要約

知識グラフのリンク予測は、エンティティ間の欠落している関係を予測するタスクである。これまでのリンク予測に関する研究では、大規模な知識グラフにスケーリングできる浅い、高速なモデルに焦点が当てられてきた。しかし、これらのモデルは深層の多層モデルよりも表現力の低い特徴を学習する傾向があり、性能に制限をもたらす可能性がある。本研究では、ConvEという多層畳み込みネットワークモデルを導入し、既存の複数のデータセットで最先端の結果を得たことを報告する。また、当モデルは非常にパラメータ効率が高く、DistMultやR-GCNと同等の性能を8倍と17倍少ないパラメータで達成できることを示している。当モデルの分析から、高インデグリ(入次数)を持つノードのモデリングに特に有効であることが明らかになった。これはFreebaseやYAGO3のような高密度で複雑な知識グラフにおいて一般的な特性である。さらに、WN18およびFB15kデータセットがトレーニングセットからの逆関係によってテストセットに漏洩している問題が指摘されているが、この問題の程度はまだ定量的に評価されていない。我々はこの問題が深刻であることを発見した:単純なルールベースのモデルでもWN18とFB15kで最先端の結果を得ることができる。逆関係を利用することで競争力のある結果を得られないよう評価を行うため、我々は一般的に使用されている複数のデータセットについて調査と検証を行い、必要に応じて堅牢なバリアントを導出した。その後、これらの堅牢なデータセットを使用して自ら提案したモデルおよびいくつかの既存モデルに対して実験を行い、ConvEがほとんどのデータセットで最先端の平均逆順位(Mean Reciprocal Rank)を達成することを見出した。