HyperAIHyperAI

Command Palette

Search for a command to run...

グラフニューラルネットワークの設計空間を拡張するためのfolklore Weisfeiler-Lehmanの再考

Jiarui Feng; Lecheng Kong; Hao Liu; Dacheng Tao; Fuhai Li; Muhan Zhang; Yixin Chen

概要

メッセージパッシングニューラルネットワーク(MPNNs)は、最近のグラフニューラルネットワーク(GNNs)の中で最も人気のあるフレームワークとして台頭しています。しかし、その表現力は1次元のWeisfeiler-Lehman(1-WL)テストによって制限されています。いくつかの研究では、kkk-WL/FWL(Folklore WL)から着想を得て、対応するニューラル版を設計しています。高表現力にもかかわらず、この研究分野には深刻な制限があります。特に、(1) kkk-WL/FWLは少なくともO(nk)O(n^k)O(nk)の空間複雑さを必要とし、これはk=3k=3k=3であっても大規模なグラフに対して実用的ではありません;(2) kkk-WL/FWLの設計空間は固く、調整可能なハイパーパラメータはkkkのみです。これらの制限に対処するために、まず(k,t)(k,t)(k,t)-FWLという拡張を提案します。理論的に証明したところによると、(k,t)(k,t)(k,t)-FWLにおいて空間複雑さをO(nk)O(n^k)O(nk)(任意のk2k \geq 2k2に対して)に固定しても、グラフ同型問題を解くまでの表現力階層を構築することができます。第二の問題に対処するために、我々はkkk-FWL+を提案します。これにより全てのノードではなく任意の等変集合を近傍として考慮することで、kkk-FWLの設計空間が大幅に拡大されます。これらの2つの改良を組み合わせることで、柔軟かつ強力なフレームワーク(k,t)(k,t)(k,t)-FWL+が得られます。我々は(k,t)(k,t)(k,t)-FWL+が既存のモデルの大半を同等の表現力で実装できることを示します。さらに、(k,t)(k,t)(k,t)-FWL+の一例としてNeighborhood2^22-FWL (N2^22-FWL)を導入します。N2^22-FWLは実際的かつ理論的に健全であることが証明されています。N2^22-FWLが3-WL以上に強力であり、多くの部分構造をエンコードしながらも僅かにO(n2)O(n^2)O(n2)の空間が必要であることを証明しました。最後に、N2^22-GNNと呼ばれるニューラル版を設計し、様々なタスクでの性能評価を行いました。N2^22-GNNはZINCサブセット(0.059)において記録的な結果を達成し、以前の最先端結果よりも10.6%優れています。また、N2^22-GNNは全ての既存の高表現力GNN手法の中でもBRECデータセット(71.8%)において新しい最先端結果を達成しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています