Attention aux modèles temporels pour la prévision de séries chronologiques multivariées

La prévision de séries temporelles multivariées, comme la prédiction de la consommation d'électricité, de la production d'énergie solaire et des pièces pour piano polyphoniques, présente de nombreuses applications précieuses. Cependant, les interdépendances complexes et non linéaires entre les étapes temporelles et les séries compliquent cette tâche. Pour obtenir des prédictions précises, il est essentiel de modéliser les dépendances à long terme dans les données de série temporelle, ce qui peut être réalisé dans une certaine mesure par un réseau neuronal récurrent (RNN) avec mécanisme d'attention. Le mécanisme d'attention typique examine l'information à chaque étape temporelle précédente et sélectionne les informations pertinentes pour aider à générer les sorties, mais il échoue à capturer les motifs temporels sur plusieurs étapes. Dans cet article, nous proposons d'utiliser un ensemble de filtres pour extraire des motifs temporels invariants par rapport au temps, ce qui est similaire à transformer les données de série temporelle dans leur « domaine fréquentiel ». Nous avons ensuite proposé un nouveau mécanisme d'attention pour sélectionner les séries temporelles pertinentes et utiliser leurs informations « domaine fréquentiel » pour la prévision. Nous avons appliqué le modèle proposé à plusieurs tâches du monde réel et avons obtenu des performances de pointe dans toutes celles-ci, sauf une exception.