11 天前

我们真的需要各向异性的图神经网络吗?

Shyam A. Tailor, Felix L. Opolka, Pietro Liò, Nicholas D. Lane
我们真的需要各向异性的图神经网络吗?
摘要

图神经网络(GNN)领域普遍认为,为了实现最先进性能,必须采用各向异性模型——即节点间传递的消息依赖于源节点和目标节点的联合信息。迄今为止的基准测试表明,这类各向异性模型在性能上优于相应的各向同性模型(即消息仅依赖于源节点)。然而,在本研究中,我们提供了实证证据,对这一主流观点提出了挑战:我们提出了一种各向同性图神经网络——高效图卷积(Efficient Graph Convolution, EGC),该模型通过使用空间可变的自适应滤波器,在多项任务中持续优于现有的各向异性模型,包括广受关注的GAT和PNA架构。本研究不仅对GNN社区提出了若干重要问题,更具有显著的实际应用价值。EGC在保持更高模型准确率的同时,实现了更低的内存占用和延迟,且其结构特性非常适合硬件加速器部署,同时可作为现有架构的即插即用替代方案。作为一款各向同性模型,其内存需求与图中顶点数量成正比($\mathcal{O}(V)$);而各向异性模型则需要与边数成正比的内存开销($\mathcal{O}(E)$)。我们在六个大规模且多样化的基准数据集上验证了EGC的优越性能。最后,我们探讨了本工作对未来GNN研究方向带来的启发性问题。本文实验所用代码及预训练模型已开源,详见:https://github.com/shyam196/egc。

我们真的需要各向异性的图神经网络吗? | 最新论文 | HyperAI超神经