NodePiece: 大規模な知識グラフの構成的でパラメータ効率的な表現

知識グラフ（KG）に対する従来の表現学習アルゴリズムは、各エンティティを一意の埋め込みベクトルにマッピングする。このような浅い照合方式は、埋め込み行列の保存に線形増加するメモリ消費を引き起こし、現実世界のKGを扱う際には高い計算コストを伴う。自然言語処理（NLP）で広く用いられるサブワードトークン化と類似の視点から、可能な限りサブ線形のメモリ要件を備えた、よりパラメータ効率的なノード埋め込み戦略の可能性を検討する。そこで本研究では、固定サイズのエンティティ語彙を学習するためのアンカーに基づく手法「NodePiece」を提案する。NodePieceでは、関係タイプが既知のグラフ内のアンカーノードから、サブワード／サブエンティティ単位の語彙を構築する。この固定サイズの語彙を前提とすることで、訓練中に見られなかったエンティティを含む任意のエンティティに対しても、エンコーディングと埋め込みを初期化することが可能となる。実験の結果、NodePieceはノード分類、リンク予測、関係予測の各タスクにおいて、従来の手法と競合する性能を示した。また、グラフ内の明示的なノードの10％未満をアンカーとして保持し、通常10倍少ないパラメータ数で実現している。さらに、70倍少ないパラメータ数で、大規模なOGB WikiKG2グラフにおいて既存の浅いモデルを上回る性能を達成したことを示した。