時系列予測のための生成型事前学習階層型Transformer

近年、時系列予測の精度向上を目指して、高度なネットワークアーキテクチャおよび自己教師付き事前学習戦略の導入が進んでいる。しかし、既存の手法には依然として二つの重要な課題が存在する。第一に、これらの手法はしばしば単一のデータセットに依存して学習を行うため、学習データの規模が限定されるため、モデルの汎化能力に制限が生じる。第二に、多くの手法が「1ステップ生成」のアプローチを採用しており、これにより予測ヘッドをカスタマイズする必要が生じ、出力系列における時系列依存性を十分に捉えることができず、また、予測幅（horizon）の長さが異なる設定においても学習コストが増加するという問題がある。こうした課題に対処するため、本研究では、予測を目的とした新たな生成型事前学習階層型トランスフォーマー構造、すなわち\textbf{GPHT}（Generative Pretrained Hierarchical Transformer）を提案する。GPHTの設計には以下の二つの鍵となる要素が含まれる。第一に、チャネル独立性の仮定の下で、多様なデータ環境から得られるさまざまなデータセットを統合した混合データセットを用いてモデルの事前学習を行うことを提唱する。これにより、学習データの規模を大幅に拡大し、時系列データに共通する構造をモデルが捉える能力を高め、特定のデータセットへの転移性能を向上させる。第二に、GPHTは自己回帰的（auto-regressive）な予測アプローチを採用することで、出力系列における時系列依存性を効果的にモデル化する。特に、カスタマイズされた予測ヘッドを必要とせず、\textit{一つのモデルで任意の予測幅（horizon）設定に対応可能}である点が重要である。本研究では、主流の自己教師付き事前学習モデルおよび教師ありモデルを用いて、8つのデータセット上で十分な実験を実施した。その結果、従来の長期予測タスクにおいて、GPHTはさまざまな微調整（fine-tuning）およびゼロショット／少ショット学習（zero/few-shot learning）設定でベースラインモデルを上回ることが示された。本研究のコードは公開しており、GitHubにて利用可能である\footnote{https://github.com/icantnamemyself/GPHT}。