BasisFormer : Prédiction de séries temporelles basée sur l'attention avec des bases apprenables et interprétables

Les bases sont devenues une composante essentielle des modèles modernes de prévision de séries temporelles fondés sur l’apprentissage profond, en raison de leur capacité à agir comme extracteurs de caractéristiques ou comme références futures. Pour être efficaces, les bases doivent être adaptées à un ensemble spécifique de séries temporelles et présenter une corrélation distincte avec chacune des séries de cet ensemble. Toutefois, les méthodes actuelles de pointe sont limitées dans leur capacité à satisfaire simultanément ces deux exigences. Pour relever ce défi, nous proposons BasisFormer, une architecture de prévision de séries temporelles end-to-end qui exploite des bases apprenables et interprétables. Cette architecture se compose de trois composants : tout d’abord, nous obtenons les bases par apprentissage auto-supervisé adaptatif, qui traite les parties historiques et futures des séries temporelles comme deux vues distinctes et utilise un apprentissage contrastif. Ensuite, nous concevons un module Coef qui calcule les coefficients de similarité entre les séries temporelles et les bases dans la vue historique à l’aide d’une attention croisée bidirectionnelle. Enfin, nous introduisons un module Forecast qui sélectionne et intègre les bases dans la vue future en se basant sur les coefficients de similarité, aboutissant à des prévisions futures précises. À travers des expérimentations étendues sur six jeux de données, nous démontrons que BasisFormer surpasser les méthodes précédentes de pointe respectivement de 11,04 % et 15,78 % pour les tâches de prévision univariée et multivariée. Le code est disponible à l’adresse suivante : \url{https://github.com/nzl5116190/Basisformer}