AutoTimes：大規模言語モデルを用いた自己回帰時系列予測

時系列データに対する基礎モデルは、時系列コーパスの限られた可用性およびスケーラブルな事前学習手法の未開拓さにより、十分に発展しておらず、その実用化が阻まれていた。時系列データと自然言語の類似した順序構造に着目し、近年の研究では大規模言語モデル（LLM）を時系列データに活用する可能性が示されている。しかし、LLMに内在する自己回帰的性質およびデコーダーのみのアーキテクチャが十分に考慮されておらず、LLMの潜在能力が十分に活用されていないのが現状である。本研究では、大規模言語モデルが持つ汎用的なトークン遷移および多ステップ生成能力を最大限に引き出すことを目的として、AutoTimesを提案する。AutoTimesは、時系列データを言語トークンの埋め込み空間に投影し、任意の長さの将来予測を自己回帰的に生成するアーキテクチャとして、LLMを自己回帰型時系列予測モデルに再設計する。このアプローチは、任意のデコーダーのみのLLMと互換性があり、履歴期間（lookback length）の柔軟な設定と、より大きなLLMへのスケーラビリティを実現する。さらに、時系列データをプロンプトとして定式化することで、履歴窓を超えた予測のための文脈情報を拡張する「インコンテキスト予測（in-context forecasting）」を実現した。また、LLMに埋め込まれたテキスト形式の時刻情報（textual timestamps）を導入することで、多変量時系列データ間の時系列的整合性を高めることが可能となる。実験結果では、AutoTimesは、学習可能なパラメータが全体の0.1%にとどまるという極めて低い計算コストで、最先端の予測性能を達成し、最先端のLLMベース予測モデルと比較して、学習・推論速度が5倍以上向上した。実装コードは以下のリポジトリにて公開されている：https://github.com/thuml/AutoTimes。