CALF：通过跨模态微调对齐LLM用于时间序列预测

深度学习（例如，Transformer）在多变量时间序列预测（MTSF）中得到了广泛且成功的应用。与现有方法主要关注从单一模态的时间序列输入训练模型不同，基于大型语言模型（LLMs）的MTSF方法通过跨模态的文本和时间序列输入，最近展现出显著的优势，尤其是在时间数据有限的情况下。然而，当前基于LLM的MTSF方法通常侧重于适应和微调LLM，而忽视了文本输入令牌与时间输入令牌之间的分布差异，从而导致次优性能。为了解决这一问题，我们提出了一种新颖的跨模态LLM微调（CALF）框架用于MTSF，该框架通过减少文本和时间数据之间的分布差异来提高预测性能，主要由以时间序列为输入的时间目标分支和以对齐文本为输入的文本源分支组成。为了减少分布差异，我们开发了跨模态匹配模块，首先对齐跨模态输入分布。此外，为了最小化特征空间和输出空间中的模态分布差距，我们引入了特征正则化损失来对齐两个分支之间的中间特征，以便进行更好的权重更新；同时引入了输出一致性损失，使两个分支的输出表示能够有效对应。得益于这种模态对齐机制，CALF在计算复杂度较低的情况下，在长期和短期预测任务中均取得了最先进的性能，并表现出类似于LLM中的有利的小样本学习和零样本学习能力。代码可在https://github.com/Hank0626/LLaTA 获取。