HyperAIHyperAI

Command Palette

Search for a command to run...

图卷积丰富了 Transformer 中的自注意力机制!

Jeongwhan Choi Hyowon Wi Jayoung Kim Yehjin Shin Kookjin Lee Nathaniel Trask Noseong Park

摘要

Transformer 模型因其自注意力机制而闻名,在自然语言处理、计算机视觉、时间序列建模等多个任务中取得了最先进的性能。然而,深度 Transformer 模型面临的一个挑战是过平滑问题,即不同层之间的表示逐渐收敛为无法区分的值,导致性能显著下降。我们将原始的自注意力机制解释为一种简单的图滤波器,并从图信号处理(GSP)的角度重新设计了这一机制。我们提出了一种基于图滤波器的自注意力机制(GFSA),旨在学习一种通用且有效的模型,尽管其复杂度略高于原始的自注意力机制。我们证明了GFSA在多个领域内提升了 Transformer 模型的性能,包括计算机视觉、自然语言处理、图级任务、语音识别和代码分类。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供