VCformer : Transformer à Corrélation Variable avec Corrélation Retardée Intrinsèque pour la Prévision de Séries Temporelles Multivariées

La prévision des séries temporelles multivariées (MTS) est largement appliquée dans divers domaines, tels que la prévision météorologique et la consommation d’énergie. Toutefois, les études actuelles s’appuient encore principalement sur le mécanisme de self-attention ponctuelle classique pour capturer les dépendances croisées entre variables, ce qui s’avère insuffisant pour extraire les corrélations croisées complexes implicites entre celles-ci. Pour combler cet écart, nous proposons VCformer, un modèle basé sur un module d’attention de corrélation entre variables (VCA) conçu pour explorer les relations entre variables. Plus précisément, inspiré par la théorie des processus stochastiques, le module VCA calcule et intègre les scores de corrélation croisée correspondant à différents décalages entre les requêtes et les clés, renforçant ainsi sa capacité à identifier des relations multivariées. Par ailleurs, s’inspirant de la théorie des dynamiques de Koopman, nous avons également conçu un détecteur temporel de Koopman (KTD) afin de mieux traiter la non-stationnarité présente dans les séries temporelles. Ces deux composants clés permettent à VCformer d’extraire à la fois des corrélations multivariées et des dépendances temporelles. Nos expériences étendues sur huit jeux de données réels démontrent l’efficacité de VCformer, qui atteint des performances de niveau supérieur par rapport à d’autres modèles de pointe. Le code est disponible à l’adresse suivante : https://github.com/CSyyn/VCformer.