AutoTimes：基于大语言模型的自回归时间序列预测方法

由于时间序列语料库的可用性有限，且可扩展预训练方法尚未得到充分探索，时间序列领域的基础模型尚未得到充分发展。基于时间序列与自然语言在序列建模上的相似性，越来越多的研究表明，可利用大规模语言模型（LLM）进行时间序列建模具有可行性。然而，当前方法尚未充分考虑LLM固有的自回归特性及其仅解码器（decoder-only）的架构，导致未能充分发挥LLM的潜在能力。为充分释放大语言模型在通用令牌转移和多步生成方面的潜力，本文提出AutoTimes，将LLM重新构造成自回归时间序列预测器。该方法将时间序列映射至语言令牌的嵌入空间，并以自回归方式生成任意长度的未来预测。AutoTimes兼容任意仅解码器架构的LLM，其预测器在回看窗口长度上具有高度灵活性，并可随着更大规模LLM的引入实现良好扩展性。此外，本文将时间序列建模为提示（prompt），将预测上下文扩展至回看窗口之外，提出“上下文内预测”（in-context forecasting）机制。通过引入嵌入于LLM中的文本化时间戳，AutoTimes能够利用时间顺序信息对多变量时间序列进行对齐。实验结果表明，AutoTimes仅需0.1%的可训练参数，相比先进的基于LLM的预测模型，训练与推理速度提升超过5倍，性能达到当前最优水平。代码已开源，详见：https://github.com/thuml/AutoTimes。