要約
知識グラフ埋め込み（KGE）モデルは、知識グラフ（KG）の各エンティティおよび関係を低次元の埋め込みベクトルで表現する。近年、これらの手法は不完全な知識グラフにおけるリンク予測および質問応答（KGQA）に応用されている。従来のKGEモデルは、グラフ内の各エンティティに対して個別の埋め込みを生成するため、数百万ものエンティティを含む実世界のグラフではモデルサイズが非常に大きくなる。また、下流タスクではこれらの原子的なエンティティ表現を複数段階のパイプラインに統合する必要があり、その結果、実用性が制限される場合がある。本研究では、汎用的なエンコーダ・デコーダ型Transformerモデルが、スケーラブルかつ汎用性に優れたKGEモデルとして機能できることを示す。このモデルは、知識グラフリンク予測および不完全なKGに対する質問応答において、最先端の性能を達成している。その鍵となるのは、従来のKGE手法が採用していた三項スコアリングアプローチを、自己回帰的デコーディングに置き換えることである。すなわち、リンク予測をシーケンス・トゥ・シーケンスのタスクとして定式化することで、従来のKGEモデルと比べてモデルサイズを最大98％まで削減しつつ、推論時間も実用的な範囲に保っている。さらに、不完全なKGに対するKGQAタスクでこのモデルをファインチューニングした結果、広範な大規模データセットにおいて、膨大なハイパーパラメータチューニングを伴わずして、既存のベースラインを上回る性能を達成した。