Unit d'attention temporelle : Vers un apprentissage prédictif spatio-temporel efficace

L’apprentissage prédictif spatio-temporel vise à générer des trames futures à partir d’un apprentissage sur des trames historiques. Dans cet article, nous examinons les méthodes existantes et proposons un cadre général pour l’apprentissage prédictif spatio-temporel, dans lequel l’encodeur spatial et le décodeur captent les caractéristiques intra-trame, tandis que le module temporel intermédiaire modélise les corrélations inter-trames. Bien que les méthodes dominantes utilisent des unités récurrentes pour capter les dépendances temporelles à long terme, celles-ci souffrent d’une faible efficacité computationnelle en raison de leurs architectures non parallélisables. Pour permettre la parallélisation du module temporel, nous proposons l’Unité d’Attention Temporelle (TAU), qui décompose l’attention temporelle en une attention statique intra-trame et une attention dynamique inter-trame. En outre, alors que la fonction de perte au carré moyen se concentre sur les erreurs intra-trame, nous introduisons une nouvelle régularisation par divergence différentielle afin de prendre en compte les variations inter-trames. Des expériences étendues démontrent que la méthode proposée permet au modèle dérivé d’atteindre des performances compétitives sur diverses benchmarks de prédiction spatio-temporelle.