HyperAIHyperAI

Command Palette

Search for a command to run...

Polynormer:線形時間における多項式表現型グラフTransformer

Chenhui Deng Zichao Yue Zhiru Zhang

概要

グラフトランスフォーマー(GTs)は、メッセージパッシング型グラフニューラルネットワーク(GNNs)よりも理論的に表現力が優れているとされる有望なアーキテクチャとして注目されている。しかし、従来のGTモデルは少なくとも二次時間計算量を要するため、大規模なグラフにはスケーラブルでないという課題がある。近年、線形時間計算量を達成するGTモデルがいくつか提案されているが、それらは依然として多くの代表的なグラフデータセットにおいてGNNのパフォーマンスに及ばず、実用的な表現力に対する懸念が残っている。本研究では、GTの表現力とスケーラビリティのトレードオフを適切にバランスさせるために、線形計算量を実現しつつ高次の多項式表現力を有する「Polynormer」という新しいGTモデルを提案する。Polynormerは、入力特徴量上に高次多項式を学習する新たなベースモデルに基づいている。このベースモデルが置換同変性(permutation equivariant)を満たすようにするため、グラフのトポロジーとノード特徴量を別々に統合し、局所的およびグローバルな同変性を保つアテンションモデルを構築している。その結果、Polynormerは線形の局所からグローバルへのアテンションスキームを採用し、アテンションスコアによって制御される係数を持つ高次同変多項式を学習する。Polynormerは、数百万ノードを含む大規模グラフを含む、合計13の同質性(homophilic)および異質性(heterophilic)データセット上で評価された。広範な実験結果から、非線形活性化関数を用いなくても、Polynormerは多数のデータセットにおいて最先端のGNNおよびGTベースラインを上回る性能を発揮することが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています