Pathformer : Transformateurs multi-échelles à voies adaptatives pour la prévision de séries temporelles

Les modèles Transformer destinés à la prévision de séries temporelles modélisent généralement les données à partir d’échelles limitées ou fixes, ce qui rend difficile la capture des caractéristiques propres à différentes échelles. Nous proposons Pathformer, un Transformer multi-échelle à chemins adaptatifs. Ce modèle intègre à la fois la résolution temporelle et la distance temporelle pour une modélisation multi-échelle efficace. La division multi-échelle découpe la série temporelle en patches de tailles variées, correspondant à différentes résolutions temporelles. À chaque échelle, une attention double est appliquée sur ces patches afin de capturer à la fois les corrélations globales et les détails locaux en tant que dépendances temporelles. Nous enrichissons par ailleurs ce modèle multi-échelle par des chemins adaptatifs, capables d’ajuster dynamiquement le processus de modélisation selon les dynamiques temporelles variables de l’entrée, améliorant ainsi la précision et la généralisation de Pathformer. Des expérimentations étendues sur onze jeux de données réels montrent que Pathformer non seulement atteint des performances de pointe, surpassant tous les modèles existants, mais aussi présente une meilleure capacité de généralisation dans divers scénarios de transfert. Le code source est disponible à l’adresse suivante : https://github.com/decisionintelligence/pathformer.