2ヶ月前

HyperAggregation: グラフエッジ上のハイパーネットワークによる集約

Nicolas Lell; Ansgar Scherp
HyperAggregation: グラフエッジ上のハイパーネットワークによる集約
要約

HyperAggregationは、グラフニューラルネットワーク用のハイパーネットワークベースの集約関数です。この手法では、ハイパーネットワークを使用して現在の近傍のサイズに応じて動的に重みを生成し、これらの重みを用いて近傍を集約します。生成された重みによるこの集約は、可変サイズの頂点近傍に対してMLP-Mixerのチャンネルミキシングのように行われます。私たちは2つのモデルでHyperAggregationを示しています。GraphHyperMixerはMLP-Mixerに基づくモデルであり、GraphHyperConvはGCNから派生したモデルですが、ハイパーネットワークベースの集約関数を使用しています。私たちは頂点分類、グラフ分類、およびグラフ回帰タスクのために多様なベンチマークデータセット上で実験を行いました。結果は、誘導的設定と伝導的設定の両方で同質的および異質的なデータセットに効果的にHyperAggregationが使用できることを示しています。GraphHyperConvはGraphHyperMixerよりも優れており、特に伝導的設定において強さを発揮します。異質的なデータセットRoman-Empireでは新たな最先端の性能を達成しました。グラフレベルタスクにおいても、私たちのモデルは同規模の他のモデルと同等の性能を示しました。アブレーションスタディではさまざまなハイパーパラメータ選択に対する堅牢性を調査しています。HyperAggregationの実装およびすべての実験を再現するためのコードはhttps://github.com/Foisunt/HyperAggregation で公開されています。注:「誘導的設定」(inductive setting)と「伝導的設定」(transductive setting)は機械学習における用語で、「同質的」(homophilic)と「異質的」(heterophilic)はネットワーク分析における用語です。これらの用語は専門的な文脈で使用されるため、一般的な訳法を使用しました。

HyperAggregation: グラフエッジ上のハイパーネットワークによる集約 | 最新論文 | HyperAI超神経