HyperAIHyperAI

Command Palette

Search for a command to run...

一种端到端的基于注意力机制的图学习方法

David Buterez extsuperscript1,* Jon Paul Janet extsuperscript2 Dino Oglic extsuperscript3 Pietro Liò extsuperscript1

摘要

近期,基于变换器的架构在图学习领域得到了迅速发展,这主要是由于注意力机制作为一种有效的学习方法以及希望取代消息传递方案中手工设计的操作者。然而,人们对其经验有效性、可扩展性和预处理步骤的复杂性提出了担忧,尤其是在与通常在广泛基准测试中表现相当的更简单的图神经网络相比时。为了解决这些不足,我们将图视为边的集合,并提出了一种纯基于注意力的方法,该方法由编码器和注意力池化机制组成。编码器纵向交替使用掩码自注意力模块和普通自注意力模块来学习边的有效表示,同时允许处理输入图中的可能错误指定问题。尽管该方法简单,但在超过70个节点级和图级任务上超越了精心调校的消息传递基线模型和最近提出的基于变换器的方法,包括具有挑战性的长程基准测试。此外,我们在不同任务中展示了最先进的性能,从分子图到视觉图再到异质节点分类。该方法在迁移学习设置中也优于图神经网络和变换器,并且其可扩展性远胜于性能水平或表达能力相似的其他替代方案。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供