通用时间序列预测Transformer的统一训练

时间序列预测中的深度学习传统上采用“一数据集一模型”的框架，限制了其在大规模预训练模型带来的变革性影响方面的潜力。近年来兴起的“通用预测”（universal forecasting）概念，源于在海量时间序列数据集上进行预训练，旨在构建一个统一的大型时间序列模型，以应对多样化的下游预测任务。然而，构建此类模型面临时间序列数据特有的三大挑战：i）跨频率学习能力，ii）支持任意数量变量的多变量时间序列建模，iii）处理大规模数据中固有的分布特性差异。为应对这些挑战，我们对传统的时序Transformer架构提出了创新性改进，提出了基于掩码编码器的通用时间序列预测Transformer模型——Moirai。该模型在我们新发布的大型开放时间序列档案库（Large-scale Open Time Series Archive, LOTSA）上进行训练，涵盖九个领域、超过270亿条观测数据。实验结果表明，Moirai在零样本（zero-shot）预测任务中表现优异，性能可与甚至超越部分全样本（full-shot）模型。相关代码、数据及模型权重已开源，可访问 https://github.com/SalesforceAIResearch/uni2ts 获取。