TEMPO：時系列予測のためのプロンプトベース生成型事前学習Transformer

過去10年間、深層学習を活用した時系列モデル化において顕著な進展が見られた。最先端の成果を達成する一方で、最も優れたアーキテクチャはアプリケーションや分野によって大きく異なる。一方、自然言語処理分野では、汎用的なモデルをさまざまなテキストデータセット上で事前学習する「生成的事前学習Transformer（Generative Pre-trained Transformer: GPT）」が、優れた性能を示している。このようなGPT型アーキテクチャが時系列データに対しても有効であるか、すなわち時系列固有の動的特性を捉え、精度の顕著な向上をもたらすかを検討することは極めて興味深い。本論文では、時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。我々は、事前学習モデルにおける時系列タスクに特有の2つの重要な誘導的バイアス（inductive biases）を活用することに注力している。具体的には、(i) 趋勢、季節成分、残差成分間の複雑な相互作用を分解する設計、および (ii) 様々な種類の時系列における分布適応を促進するためのプロンプト（prompt）設計である。TEMPOは、多様な分野にまたがるデータから、現実世界の時系列現象を動的にモデル化する能力を拡張する。実験の結果、TEMPOは多数の時系列ベンチマークデータセットにおいて、ゼロショット（zero-shot）設定で最先端手法を上回る優れた性能を示した。この性能向上は、これまでに観測されていないデータセットを扱う状況だけでなく、マルチモーダル入力を持つ状況でも確認された。この説得力ある結果は、TEMPOが基盤モデル（foundational model）構築のフレームワークとしての潜在的可能性を示している。