Autoformer : Transformateurs de décomposition avec auto-corrélation pour la prévision à long terme de séries temporelles

Allonger le délai de prévision est une exigence critique pour des applications réelles, telles que l’alerte précoce aux événements météorologiques extrêmes ou la planification à long terme de la consommation énergétique. Ce papier s’intéresse au problème de prévision à long terme des séries temporelles. Les modèles basés sur les Transformers antérieurs adoptent diverses mécanismes d’attention auto-associative afin de découvrir les dépendances à longue portée. Toutefois, la complexité des motifs temporels du futur à long terme empêche ces modèles de repérer des dépendances fiables. En outre, les Transformers doivent recourir à des versions creuses d’attention point à point pour assurer l’efficacité sur de longues séries, ce qui entraîne un goulot d’étranglement dans l’utilisation de l’information. Dépassant les architectures Transformer, nous proposons Autoformer, une nouvelle architecture de décomposition reposant sur un mécanisme d’auto-corrélation. Nous rompons avec la convention préalable de décomposition des séries et transformons cette étape en un bloc fondamental intégré aux modèles profonds. Cette conception confère à Autoformer une capacité progressive de décomposition adaptée aux séries temporelles complexes. Par ailleurs, inspirés par la théorie des processus stochastiques, nous concevons le mécanisme d’auto-corrélation sur la base de la périodicité des séries, permettant ainsi la découverte de dépendances et l’agrégation de représentations au niveau des sous-séries. L’auto-corrélation surpasse l’attention auto-associative en termes d’efficacité et de précision. Dans les tâches de prévision à long terme, Autoformer atteint des performances de pointe, avec une amélioration relative de 38 % sur six benchmarks couvrant cinq applications pratiques : énergie, trafic, économie, météorologie et maladies. Le code est disponible à l’adresse suivante : \url{https://github.com/thuml/Autoformer}.