中科院提出新型时间序列预测框架,助力精准未来预测
中国科学院软件研究所研究团队近期提出一种新型时间序列预测框架——向量注入式上下文学习(LVICL),旨在提升大语言模型在时间序列预测任务中的性能与效率。该框架有效应对了大语言模型在处理时间序列数据时面临的挑战:即预训练文本与时间序列在数据分布和结构上的显著差异。传统方法依赖全量微调以缩小差距,但存在训练成本高、显存占用大等问题,难以在实际场景中推广。 为解决上述问题,研究团队创新性地引入上下文学习机制,提出LVICL框架。该方法通过在输入提示中嵌入任务示例,使模型无需更新参数即可实现类似微调的效果。为克服上下文学习中示例选择与顺序敏感带来的不稳定问题,LVICL采用向量表示提取示例特征,并通过置换不变的方式聚合,消除顺序依赖;随后利用轻量级适配器对聚合向量进行精炼,抑制无关信息干扰,增强对示例选择的鲁棒性;最终将优化后的向量注入大语言模型各层的残差流中,实现对预测过程的可控引导。 研究团队在多个主流时间序列预测基准数据集上对LVICL进行了系统评估。结果表明,该框架在保持大语言模型参数完全冻结、训练开销极低的前提下,能稳定提升预测性能,并显著放大上下文学习的收益。相比现有轻量微调方法,LVICL在多种数据集和实验设置下均展现出更强的预测能力,且在性能与效率之间实现了更优平衡。 相关研究成果已被互联网领域顶级国际学术会议The Web Conference 2026(WWW-26)录用,标志着我国在大模型与时间序列融合应用方向取得重要进展。
