17 天前

Pathformer:用于时间序列预测的多尺度自适应路径变换器

Peng Chen, Yingying Zhang, Yunyao Cheng, Yang Shu, Yihang Wang, Qingsong Wen, Bin Yang, Chenjuan Guo
Pathformer:用于时间序列预测的多尺度自适应路径变换器
摘要

时间序列预测中的Transformer模型通常仅在有限或固定的时间尺度上建模,难以捕捉跨越多种尺度的多样化特征。为此,我们提出Pathformer——一种具有自适应路径的多尺度Transformer。该模型融合了时间分辨率与时间距离信息,实现多尺度建模。通过多尺度划分,时间序列被分解为不同时间分辨率的片段(patch),并采用不同大小的patch进行处理。在每个尺度上,基于这些片段执行双注意力机制,以捕捉全局相关性与局部细节作为时间依赖关系。此外,Pathformer引入自适应路径机制,能够根据输入序列中随时间动态变化的特性,自适应地调整多尺度建模过程,从而显著提升模型的预测精度与泛化能力。在十一个真实世界数据集上的大量实验表明,Pathformer不仅超越了现有所有模型,达到当前最优性能,而且在多种迁移学习场景下展现出更强的泛化能力。代码已开源,地址为:https://github.com/decisionintelligence/pathformer。