BasisFormer：学習可能かつ解釈可能な基底を用いたアテンションベースの時系列予測

時系列予測を目的とした現代の深層学習モデルにおいて、基底（basis）は特徴抽出器または将来の参照として機能する能力から、不可欠な構成要素となっている。効果的な基底は、特定の時系列データセットに適応しているだけでなく、そのセット内の各時系列と明確な相関関係を示す必要がある。しかし、現在の最先端手法は、これらの二つの要件を同時に満たす能力に限界がある。この課題に対処するために、学習可能かつ解釈可能な基底を活用するエンドツーエンド型の時系列予測アーキテクチャ「BasisFormer」を提案する。本アーキテクチャは以下の3つのモジュールから構成される。第一に、時系列の過去と未来の部分を二つの異なる視点として扱い、対比学習（contrastive learning）を用いることで、適応的自己教師学習により基底を獲得する。第二に、双方向クロスアテンション（bidirectional cross-attention）を用いて、過去の視点における時系列と基底との類似度係数を計算する「Coefモジュール」を設計する。第三に、類似度係数に基づき、未来の視点における基底を選択・統合する「Forecastモジュール」を提示する。これにより、高精度な将来予測が実現される。6つのデータセットを用いた広範な実験の結果、BasisFormerは単変量予測タスクにおいて従来の最先端手法を11.04%、多変量予測タスクにおいては15.78%上回ることを示した。コードは以下のURLで公開されている：\url{https://github.com/nzl5116190/Basisformer}