TEMPO：基于提示的生成式预训练时间序列预测Transformer

过去十年中，深度学习在时间序列建模方面取得了显著进展。尽管现有方法在多个任务上达到了当前最优性能，但表现最佳的模型架构在不同应用和领域间差异较大。与此同时，在自然语言处理领域，生成式预训练变换器（Generative Pre-trained Transformer, GPT）通过在多种文本数据集上训练单一通用模型，展现了卓越的性能。这引发了一个引人深思的问题：是否可以将类似GPT的架构有效应用于时间序列建模，以捕捉时间序列内在的动态特征，并带来显著的精度提升？本文提出了一种新型框架——TEMPO，能够高效学习时间序列的表示。我们重点利用时间序列任务中预训练模型的两个关键归纳偏置：（i）对趋势、季节性和残差成分之间复杂交互关系进行分解；（ii）引入提示（prompt）设计机制，以促进模型在不同类型时间序列间的分布适应。TEMPO显著增强了从多样化领域数据中动态建模现实世界时序现象的能力。实验结果表明，在多个时间序列基准数据集上，TEMPO在零样本（zero-shot）设置下均显著优于当前最先进的方法。这一性能优势不仅体现在面对此前未见数据集的场景中，也在多模态输入场景下得到验证。这一令人信服的发现凸显了TEMPO作为基础模型构建框架的巨大潜力，有望为时间序列建模领域提供通用性强、泛化能力优异的新范式。