2 个月前

GaAN: 门控注意力网络在大规模和时空图上的学习

Jiani Zhang; Xingjian Shi; Junyuan Xie; Hao Ma; Irwin King; Dit-Yan Yeung
GaAN: 门控注意力网络在大规模和时空图上的学习
摘要

我们提出了一种新的网络架构——门控注意力网络(GaAN),用于图上的学习任务。与传统的多头注意力机制不同,后者对所有注意力头同等对待,而GaAN通过一个卷积子网络来控制每个注意力头的重要性。我们在归纳节点分类问题上验证了GaAN的有效性。此外,以GaAN为构建模块,我们设计了图门控循环单元(GGRU),以解决交通速度预测问题。在三个真实世界数据集上的大量实验表明,我们的GaAN框架在这两项任务中均取得了最先进的成果。

GaAN: 门控注意力网络在大规模和时空图上的学习 | 最新论文 | HyperAI超神经