T-Graphormer : Utilisation des Transformers pour la prévision spatio-temporelle

Les données spatiotemporphes sont omniprésentes, et leur prévision présente des applications importantes dans de nombreux domaines. Toutefois, leurs dépendances complexes entre composantes et leurs dynamiques temporelles non linéaires posent des défis aux méthodes traditionnelles. Les approches existantes tentent de relever ce défi en traitant séparément les deux dimensions. Dans cet article, nous introduisons Temporal Graphormer (T-Graphormer), une méthode fondée sur le Transformer capable de modéliser simultanément les corrélations spatiotemporelles. En intégrant des encodages temporels dans l'architecture Graphormer, chaque nœud peut s'attarder sur tous les autres tokens de la séquence graphique, permettant au modèle d'apprendre des motifs riches dans l'espace-temps tout en minimisant les biais inductifs prédéfinis. Nous démontrons l'efficacité de T-Graphormer sur des jeux de données réels de prévision du trafic. Par rapport aux méthodes de pointe, T-Graphormer réduit l'erreur quadratique moyenne (RMSE) et l'erreur absolue moyenne en pourcentage (MAPE) respectivement jusqu'à 20 % et 10 %.