Amélioration de la localité et rupture de la bouteille d’eau de la mémoire du Transformer pour la prévision des séries temporelles

La prévision de séries temporelles est un problème important dans de nombreux domaines, notamment les prédictions de la production d'énergie des centrales solaires, la consommation d'électricité et les situations d'embouteillages. Dans cet article, nous proposons d'aborder ce problème de prévision en utilisant le modèle Transformer [1]. Bien que ses performances aient été impressionnantes dans notre étude préliminaire, nous avons identifié deux faiblesses majeures : (1) l'insensibilité au contexte local : le mécanisme d'auto-attention par produit scalaire point à point de l'architecture Transformer classique ne prend pas en compte le contexte local, ce qui peut rendre le modèle vulnérable aux anomalies dans les séries temporelles ; (2) la limitation de la mémoire : la complexité spatiale du Transformer classique augmente quadratiquement avec la longueur de la séquence $L$, rendant impossible une modélisation directe des séries temporelles longues. Pour résoudre ces deux problèmes, nous proposons tout d'abord une auto-attention convolutive en générant des requêtes et des clés à l'aide de convolutions causales, afin que le contexte local soit mieux intégré au mécanisme d'attention. Ensuite, nous introduisons le LogSparse Transformer, qui n'a qu'un coût mémoire de $O(L(\log L)^{2})$, améliorant ainsi la précision des prévisions pour les séries temporelles à granularité fine et avec des dépendances à long terme sous un budget mémoire limité. Nos expériences sur des données synthétiques et sur des jeux de données réels montrent que notre approche se compare favorablement aux méthodes de pointe actuelles.