Informer : Au-delà du Transformer efficace pour la prévision de séries temporelles à longue séquence

De nombreuses applications dans le monde réel nécessitent la prédiction de séries temporelles à longue séquence, comme la planification de la consommation d'électricité. La prévision de séries temporelles à longue séquence (LSTF) exige une forte capacité de prédiction du modèle, qui est la capacité de capturer efficacement des dépendances précises à long terme entre les sorties et les entrées. Des études récentes ont montré le potentiel du Transformer pour augmenter cette capacité de prédiction. Cependant, plusieurs problèmes graves empêchent l'application directe du Transformer à la LSTF, notamment une complexité temporelle quadratique, une utilisation importante de la mémoire et une limitation inhérente de l'architecture encodeur-décodeur. Pour résoudre ces problèmes, nous avons conçu un modèle basé sur le Transformer, nommé Informer, doté de trois caractéristiques distinctives : (i) un mécanisme d'auto-attention $ProbSparse$, qui atteint une complexité temporelle et une utilisation mémoire en $O(L \log L)$ tout en offrant des performances comparables pour l'alignement des dépendances des séquences ; (ii) l'auto-attention distillée met en évidence l'attention dominante en réduisant de moitié l'entrée des couches en cascade, permettant ainsi de gérer efficacement des séquences d'entrée extrêmement longues ; (iii) un décodeur au style génératif, bien que conceptuellement simple, qui prédit les séquences de série temporelle à long terme en une seule opération plutôt qu'étape par étape, ce qui améliore considérablement la vitesse d'inférence pour les prédictions à longue séquence. De nombreux expériences menées sur quatre jeux de données à grande échelle montrent que l'Informer dépasse significativement les méthodes existantes et offre une nouvelle solution au problème de LSTF.