Mambaは時系列予測において有効か？

時系列予測（Time Series Forecasting, TSF）の分野において、モデルが過去の時系列データに内在する隠れたパターンを的確に捉え、抽出する能力は極めて重要である。トランスフォーマーに基づくモデルは、こうしたパターンを捉える能力に優れているため、TSFにおいて優れた性能を発揮している。しかし、トランスフォーマーの計算量が二次関数的（quadratic）に増加するという特性により、計算効率が低く、コストが高くなるという課題があり、実用的な場面におけるモデルの導入を妨げている。近年、選択的状態空間モデル（selective state space model）であるMambaが注目を集めている。Mambaは、シーケンス内の依存関係を処理しつつ、近似線形の計算複雑度を維持できる点が特徴である。TSFタスクにおいて、この性質により、トランスフォーマーと同等の隠れたパターンの理解が可能でありながら、計算負荷を大幅に削減できる。本研究では、こうした利点を活かし、TSF向けにMambaベースのモデル「Simple-Mamba（S-Mamba）」を提案する。具体的には、各変数（variate）の時系列点を線形層を用いて独立してトークン化し、双方向Mamba層により変数間の相関関係を抽出し、フィードフォワードネットワーク（Feed-Forward Network）で時系列依存性を学習する。最終的に、線形マッピング層を用いて予測結果を生成する。13個の公開データセットを用いた実験により、S-Mambaが低コストな計算負荷を維持しつつ、最先端の性能を達成することが確認された。さらに、MambaがTSFタスクにおいて有する潜在能力を幅広く検証する実験も実施した。本研究の実装コードは、https://github.com/wzhwzhwzh0921/S-D-Mamba にて公開している。