Attention auto-associative ConvLSTM pour la prédiction spatio-temporelle

La prédiction spatio-temporelle est un défi en raison des mouvements dynamiques complexes et des changements d’apparence. Les travaux existants se concentrent sur l’intégration de cellules supplémentaires dans le ConvLSTM standard afin de mémoriser les apparences spatiales pendant la prédiction. Ces modèles s’appuient habituellement sur des couches de convolution pour capturer les dépendances spatiales, qui sont locales et peu efficaces. Or, les dépendances spatiales à longue portée sont cruciales pour les applications spatiales. Afin d’extraire des caractéristiques spatiales intégrant à la fois des dépendances locales et globales, nous introduisons le mécanisme d’attention auto dans le ConvLSTM. Plus précisément, nous proposons une nouvelle mémoire d’attention auto (SAM) capable de mémoriser des caractéristiques présentant des dépendances à longue portée tant dans le domaine spatial que temporel. Grâce à l’attention auto, la SAM produit des caractéristiques en agrégant les caractéristiques de toutes les positions à la fois de l’entrée elle-même et des caractéristiques mémoire, pondérées par des scores de similarité par paires. De plus, la mémoire additionnelle est mise à jour par un mécanisme de porte appliqué aux caractéristiques agrégées, ainsi qu’un chemin direct (highway) qui intègre la mémoire du pas de temps précédent. Ainsi, grâce à la SAM, il devient possible d’extraire des caractéristiques présentant des dépendances spatio-temporelles à longue portée. En outre, nous intégrons la SAM dans un ConvLSTM standard pour construire un modèle appelé SA-ConvLSTM, dédié à la prédiction spatio-temporelle. Dans nos expérimentations, nous appliquons le SA-ConvLSTM à la prédiction de trames sur les jeux de données MovingMNIST et KTH, ainsi qu’à la prédiction de flux de trafic sur le jeu de données TexiBJ. Le SA-ConvLSTM atteint des résultats de pointe sur ces deux jeux de données, avec un nombre réduit de paramètres et une efficacité temporelle supérieure à celle des méthodes précédemment les plus performantes.