15 天前

基于线性专家混合的长期时间序列预测

Ronghao Ni, Zinan Lin, Shuaiqi Wang, Giulia Fanti
基于线性专家混合的长期时间序列预测
摘要

长期时间序列预测(Long-term Time Series Forecasting, LTSF)旨在根据历史观测值预测未来的时间序列值。目前,该任务的最先进(State-of-the-Art, SOTA)方法在某些情况下由以线性映射为核心的模型实现,这类模型通常包含一个线性映射层。然而,由于其固有的结构简单性,这些模型难以适应时间序列模式中的周期性变化,无法动态调整其预测规则。为应对这一挑战,我们提出了一种面向线性中心模型的“专家混合”(Mixture-of-Experts)式增强方法,并进一步构建了线性专家混合模型(Mixture-of-Linear-Experts, MoLE)。与训练单一模型不同,MoLE同时训练多个线性中心模型(即“专家”)以及一个路由模型(router),后者负责对各专家的输出进行加权并融合。尽管整个框架采用端到端的方式进行训练,但每个专家能够专注于学习特定的时间模式,而路由模型则具备自适应地组合专家输出的能力。实验结果表明,在我们评估的超过78%的数据集和设置中,MoLE显著降低了现有线性中心模型(包括DLinear、RLinear和RMLP)的预测误差。在与PatchTST进行对比的68%的实验场景中,通过引入MoLE,原有线性中心模型能够达到SOTA的长期时间序列预测性能;相比之下,传统的单头线性中心模型仅在25%的情况下达到SOTA水平。