摘要
近年来，研究者们致力于通过引入先进的网络架构与自监督预训练策略来提升时间序列预测的准确性。然而，现有方法仍存在两个关键缺陷：其一，这些方法通常依赖单一数据集进行训练，受限于训练数据的规模，导致模型泛化能力不足；其二，普遍采用单步生成（one-step generation）范式，这不仅需要为不同预测任务定制专门的预测头（forecasting head），忽视了输出序列中的时间依赖性，还导致在不同预测时 horizon 长度设置下训练成本显著增加。为解决上述问题，本文提出一种新型的生成式预训练分层Transformer架构——GPHT（Generative Pretrained Hierarchical Transformer）。GPHT的核心设计包含两个方面：其一，在通道无关性假设下，我们构建了一个混合数据集用于模型预训练，该数据集融合了来自多种数据场景的多样化时间序列数据。这一策略大幅扩展了训练数据的规模，使模型能够捕捉时间序列数据中的共性特征，从而显著提升其在特定任务上的迁移能力；其二，GPHT采用自回归（auto-regressive）的预测方式，能够有效建模输出序列中的时间依赖关系。尤为重要的是，该方法无需设计定制化的预测头，实现了单一模型即可支持任意预测时 horizon 的设定，极大提升了模型的通用性与灵活性。我们在八个主流数据集上进行了充分实验，对比了包括自监督预训练模型与监督学习模型在内的多种基线方法。实验结果表明，在传统的长期预测任务中，GPHT在多种微调及零样本/少样本学习设置下均显著优于现有基线模型。相关代码已公开发布于GitHub：https://github.com/icantnamemyself/GPHT。