Le Mamba est-il efficace pour la prévision des séries temporelles ?

Dans le domaine de la prévision de séries temporelles (TSF), il est essentiel que les modèles parviennent à identifier et à extraire efficacement les motifs cachés présents dans les données historiques afin de prédire les états futurs. Les modèles basés sur l’architecture Transformer se distinguent par leur efficacité remarquable en TSF, principalement grâce à leur capacité à capturer ces motifs complexes. Toutefois, la complexité quadratique inhérente au Transformer entraîne une faible efficacité computationnelle et des coûts élevés, ce qui limite partiellement son déploiement dans des scénarios réels. Récemment, Mamba, un modèle d’espace d’état sélectif, a suscité un intérêt croissant en raison de sa capacité à traiter les dépendances dans les séquences tout en maintenant une complexité quasi linéaire. Pour les tâches de TSF, ces caractéristiques permettent à Mamba de modéliser les motifs cachés avec une efficacité comparable à celle du Transformer, tout en réduisant considérablement la charge computationnelle. À cet effet, nous proposons un modèle basé sur Mamba, nommé Simple-Mamba (S-Mamba), dédié à la prévision de séries temporelles. Plus précisément, nous tokenisons de manière autonome les instants temporels de chaque variable à l’aide d’une couche linéaire. Une couche Mamba bidirectionnelle est employée pour extraire les corrélations entre variables, tandis qu’un réseau de propagation avant (Feed-Forward Network) est utilisé pour apprendre les dépendances temporelles. Enfin, les prédictions sont générées via une couche de projection linéaire. Des expérimentations menées sur treize jeux de données publics démontrent que S-Mamba maintient une faible charge computationnelle tout en atteignant des performances de pointe. Par ailleurs, nous avons mené des expérimentations approfondies afin d’explorer le potentiel de Mamba dans les tâches de TSF. Le code source est disponible à l’adresse suivante : https://github.com/wzhwzhwzh0921/S-D-Mamba.