HyperAIHyperAI

Command Palette

Search for a command to run...

NodePiece: 大規模な知識グラフの構成的でパラメータ効率的な表現

Mikhail Galkin Etienne Denis Jiapeng Wu William L. Hamilton

概要

知識グラフ(KG)に対する従来の表現学習アルゴリズムは、各エンティティを一意の埋め込みベクトルにマッピングする。このような浅い照合方式は、埋め込み行列の保存に線形増加するメモリ消費を引き起こし、現実世界のKGを扱う際には高い計算コストを伴う。自然言語処理(NLP)で広く用いられるサブワードトークン化と類似の視点から、可能な限りサブ線形のメモリ要件を備えた、よりパラメータ効率的なノード埋め込み戦略の可能性を検討する。そこで本研究では、固定サイズのエンティティ語彙を学習するためのアンカーに基づく手法「NodePiece」を提案する。NodePieceでは、関係タイプが既知のグラフ内のアンカーノードから、サブワード/サブエンティティ単位の語彙を構築する。この固定サイズの語彙を前提とすることで、訓練中に見られなかったエンティティを含む任意のエンティティに対しても、エンコーディングと埋め込みを初期化することが可能となる。実験の結果、NodePieceはノード分類、リンク予測、関係予測の各タスクにおいて、従来の手法と競合する性能を示した。また、グラフ内の明示的なノードの10%未満をアンカーとして保持し、通常10倍少ないパラメータ数で実現している。さらに、70倍少ないパラメータ数で、大規模なOGB WikiKG2グラフにおいて既存の浅いモデルを上回る性能を達成したことを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
NodePiece: 大規模な知識グラフの構成的でパラメータ効率的な表現 | 記事 | HyperAI超神経