Time-LLM：大規模言語モデルの再プログラミングによる時系列予測

時系列予測は、多くの現実世界の動的システムにおいて重要な役割を果たしており、広範にわたって研究が進められている。自然言語処理（NLP）やコンピュータビジョン（CV）とは異なり、時系列予測のためのモデルはしばしばタスクや応用に特化した設計を要するため、異なる用途に対応するためには別個のモデル設計が必要となる。一方で、NLPおよびCV分野では事前学習された基礎モデル（foundation models）が著しい進展を遂げているが、時系列分野における同様の発展はデータの疎らさという課題により制限されていた。近年の研究では、大規模言語モデル（LLM）が複雑なトークン系列に対して強力なパターン認識能力および推論能力を有していることが明らかになった。しかしながら、時系列データと自然言語のモダリティを効果的に統合し、こうした能力を活用する課題は依然として残っている。本研究では、バックボーンとなる言語モデルを変更せずに、一般化された時系列予測に向けたLLMの再利用を可能にする「Time-LLM」という再プログラミングフレームワークを提案する。本手法では、時系列データを事前にテキストプロトタイプで再プログラミングし、その結果を固定されたLLMに供給することで、両モダリティの整合性を図る。さらに、LLMが時系列データに対して推論を行う能力を強化するため、入力文脈を豊かにし、再プログラミングされた入力パッチの変換を制御する「Prompt-as-Prefix（PaP）」を提案する。得られたLLMからの変換済み時系列パッチは最終的に投影操作を経て予測値として出力される。広範な評価結果から、Time-LLMが最先端の専用予測モデルを上回る強力な時系列学習能力を有していることが示された。さらに、少数例学習（few-shot）およびゼロショット学習（zero-shot）の両状況においても、Time-LLMは優れた性能を発揮することが確認された。