17 天前

Time-LLM:通过重编程大型语言模型进行时间序列预测

Ming Jin, Shiyu Wang, Lintao Ma, Zhixuan Chu, James Y. Zhang, Xiaoming Shi, Pin-Yu Chen, Yuxuan Liang, Yuan-Fang Li, Shirui Pan, Qingsong Wen
Time-LLM:通过重编程大型语言模型进行时间序列预测
摘要

时间序列预测在众多现实世界的动态系统中具有重要意义,并已受到广泛研究。与自然语言处理(NLP)和计算机视觉(CV)领域中单一大型模型可应对多种任务不同,时间序列预测模型通常具有高度专用性,需针对不同任务和应用场景设计专门的架构。尽管预训练基础模型在NLP和CV领域取得了显著进展,但其在时间序列领域的应用受限于数据稀疏性问题。近期研究表明,大型语言模型(LLMs)具备强大的复杂序列模式识别与推理能力。然而,如何有效对齐时间序列数据与自然语言模态,以充分挖掘这些能力,仍是亟待解决的挑战。本文提出Time-LLM,一种重新编程框架,旨在在保持骨干语言模型不变的前提下,将大型语言模型重新用于通用时间序列预测任务。我们首先通过文本原型对输入的时间序列进行重构,再将其输入冻结的LLM,以实现两种模态之间的对齐。为进一步增强LLM对时间序列数据的推理能力,我们提出“提示作为前缀”(Prompt-as-Prefix, PaP)机制,通过丰富输入上下文并引导重构后时间序列片段的转换过程。最终,经LLM处理得到的时序片段被映射至预测输出。全面的实验评估表明,Time-LLM是一种强大的时间序列学习模型,在性能上超越现有最先进的专用预测模型。此外,Time-LLM在少样本(few-shot)与零样本(zero-shot)学习场景下均表现出色,展现出卓越的泛化能力。