17日前

特徴量の利点:Transformerを用いた多変量時系列予測における並列系列埋め込み

{Zonglin Lyu, Xuande Feng}
要約

時系列予測は魅力的でありながらも重要な数学的課題である。関連分野における理論および応用研究は数十年にわたり行われており、近年では深層学習が信頼性の高いツールを提供している。特に、長距離の系列依存関係を捉える能力を持つTransformerは、時系列予測における強力なアーキテクチャとして利用されている。しかし、従来の研究は主にTransformerのメモリボトルネックの克服に注力している一方で、多変量時系列を効果的に活用する手法についてはほとんど注目されていない。本研究では、主にTransformerを活用する新しいアーキテクチャを提案し、多変量時系列予測を実現する。提案アーキテクチャは以下の2つの主な利点を持つ。第一に、短いまたは長い系列長および予測ステップに対しても、多変量時系列を高精度で予測可能である。実世界のデータセット上で多数のベースラインアーキテクチャと比較した結果、本モデルはそれらの性能を著しく向上させた。第二に、このアーキテクチャはTransformerに基づく変種に容易に統合可能であり、柔軟な拡張性を有している。