17 天前

特征如何带来收益:基于Transformer的多变量时间序列预测中的并行序列嵌入

{Zonglin Lyu, Xuande Feng}
摘要

时间序列预测是一个引人关注且至关重要的数学课题。相关领域的理论与应用研究已持续数十年,近年来深度学习为该领域提供了可靠的工具。Transformer架构因其能够捕捉更长的序列依赖关系,被广泛应用于时间序列预测中。尽管现有研究主要致力于突破Transformer的内存瓶颈,但如何有效利用多变量时间序列仍鲜有关注。本文提出一种新型架构,采用主Transformer结构实现多变量时间序列预测。所提出的架构具有两大优势:首先,该模型能够准确预测具有短序列或长序列长度及步长的多变量时间序列。我们在多个真实世界数据集上将所提模型与多种基准架构进行对比,结果表明,该模型显著提升了现有方法的性能。其次,该架构可轻松集成至基于Transformer的各类变体中,具有良好的可扩展性与通用性。