17日前
カーブ形状のみが重要:次なるカーブ形状予測を通じたゼロショット多変量時系列予測のためのファウンデーションモデル訓練
Cheng Feng, Long Huang, Denis Krompass

要約
本稿では、ゼロショット多変量時系列予測に向けたエンコーダーのみを採用した基礎モデル「General Time Transformer(GTT)」を提案する。GTTは、多様な分野にまたがる2億件の高品質な時系列データサンプルから構成される大規模なデータセット上で事前学習が行われている。本研究で提唱する枠組みにおいて、多変量時系列予測のタスクは、各時系列サンプルを統一された数値スケールを持つ非重複なカーブ形状の系列として表現し、チャンネルごとに次のカーブ形状を予測する問題として定式化される。GTTは、チャンネルごとに過去のカーブ形状の窓を用いて、次のカーブ形状を予測するように学習される。実験結果から、GTTが未観測の時系列データセットにおいて優れたゼロショット多変量予測性能を発揮することが示され、従来の最先端の教師ありベースラインを上回ることも確認された。さらに、GTTのモデルパラメータや学習データセットの規模を変化させた場合の影響を検討した結果、ゼロショット多変量時系列予測の文脈においてもスケーリング則が成立していることが観察された。