Pré-entraînement masqué découplé spatio-temporel pour la prévision spatio-temporelle

Les techniques de prévision spatio-temporelle revêtent une importance capitale dans divers domaines tels que les transports, l’énergie et la météorologie. La prédiction précise des séries spatio-temporelles demeure un défi majeur en raison de l’hétérogénéité spatio-temporelle complexe. En particulier, les modèles actuels en bout à bout sont limités par la longueur des entrées, ce qui les expose fréquemment à un phénomène de « mirage spatio-temporel », c’est-à-dire que des séries temporelles d’entrée similaires peuvent être suivies par des valeurs futures dissimilaires, et vice versa. Pour surmonter ces limitations, nous proposons un cadre novateur de pré-entraînement auto-supervisé, nommé Spatial-Temporal-Decoupled Masked Pre-training (STD-MAE), qui utilise deux autoencodeurs masqués découplés pour reconstruire les séries spatio-temporelles selon les dimensions spatiale et temporelle. Les représentations riches en contexte apprises grâce à cette reconstruction peuvent être intégrées de manière transparente par des prédicteurs ultérieurs, quelle que soit leur architecture, afin d’améliorer leurs performances. Une série d’évaluations quantitatives et qualitatives menées sur six benchmarks largement utilisés (PEMS03, PEMS04, PEMS07, PEMS08, METR-LA et PEMS-BAY) permet de valider les performances de pointe de STD-MAE. Le code source est disponible à l’adresse suivante : https://github.com/Jimmy-7664/STD-MAE.