HyperAIHyperAI

Command Palette

Search for a command to run...

通用、强大、可扩展的图变换器构建方法

Ladislav Rampášek Mikhail Galkin Vijay Prakash Dwivedi Anh Tuan Luu Guy Wolf Dominique Beaini

摘要

我们提出了一种构建具有线性复杂度和在多种基准测试中取得最先进结果的通用、强大、可扩展(GPS)图Transformer的方法。图Transformer(GTs)在图表示学习领域受到了广泛关注,近期有许多相关研究发表,但它们缺乏关于什么是良好的位置编码或结构编码以及这些编码之间有何区别的共同基础。在本文中,我们对不同类型的编码进行了更清晰的定义,并将其分类为局部\textit{局部}局部全局\textit{全局}全局相对\textit{相对}相对编码。以往的图Transformer受限于节点数仅为几百的小规模图,而我们在此提出了首个复杂度与节点数和边数呈线性关系O(N+E)O(N+E)O(N+E)的架构,通过将局部真实边聚合与全连接Transformer解耦实现这一目标。我们认为这种解耦不会影响表达能力,我们的架构可以作为图上的通用函数逼近器。我们的GPS方法包括选择三个主要成分:(i) 位置/结构编码,(ii) 局部消息传递机制,以及 (iii) 全局注意力机制。我们提供了一个模块化的框架GraphGPS\textit{GraphGPS}GraphGPS,支持多种类型的编码,并且在小规模和大规模图中均能保证效率和可扩展性。我们在16个基准测试上对我们的架构进行了测试,并展示了在所有测试中的高度竞争力,证明了模块化和不同策略组合带来的实证优势。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通用、强大、可扩展的图变换器构建方法 | 论文 | HyperAI超神经