17 天前

T-Graphormer:利用Transformer进行时空预测

Hao Yuan Bai, Xue Liu
T-Graphormer:利用Transformer进行时空预测
摘要

时空数据无处不在,其预测在众多领域具有重要应用价值。然而,传统方法在处理时空数据时面临挑战,主要源于其复杂的跨组件依赖关系以及非线性的时序动态特性。现有方法通常将时空两个维度分别建模。本文提出一种基于Transformer的新型方法——时序图变换器(Temporal Graphormer,简称T-Graphormer),能够同时建模时空相关性。通过在图变换器(Graphormer)架构中引入时序编码,每个节点可关注图序列中的所有其他节点,使模型能够在极少预设归纳偏置的前提下,学习到丰富的时空模式。我们在真实世界交通预测基准数据集上验证了T-Graphormer的有效性。与当前最先进的方法相比,T-Graphormer在均方根误差(RMSE)和平均绝对百分比误差(MAPE)上分别最高降低了20%和10%。

T-Graphormer:利用Transformer进行时空预测 | 最新论文 | HyperAI超神经