HyperAIHyperAI

Command Palette

Search for a command to run...

Attention auto-associative ConvLSTM pour la prédiction spatio-temporelle

Chun Yuan Yangyang Cheng Zhuobin Zheng Maomao Li Zhihui Lin

Résumé

La prédiction spatio-temporelle est un défi en raison des mouvements dynamiques complexes et des changements d’apparence. Les travaux existants se concentrent sur l’intégration de cellules supplémentaires dans le ConvLSTM standard afin de mémoriser les apparences spatiales pendant la prédiction. Ces modèles s’appuient habituellement sur des couches de convolution pour capturer les dépendances spatiales, qui sont locales et peu efficaces. Or, les dépendances spatiales à longue portée sont cruciales pour les applications spatiales. Afin d’extraire des caractéristiques spatiales intégrant à la fois des dépendances locales et globales, nous introduisons le mécanisme d’attention auto dans le ConvLSTM. Plus précisément, nous proposons une nouvelle mémoire d’attention auto (SAM) capable de mémoriser des caractéristiques présentant des dépendances à longue portée tant dans le domaine spatial que temporel. Grâce à l’attention auto, la SAM produit des caractéristiques en agrégant les caractéristiques de toutes les positions à la fois de l’entrée elle-même et des caractéristiques mémoire, pondérées par des scores de similarité par paires. De plus, la mémoire additionnelle est mise à jour par un mécanisme de porte appliqué aux caractéristiques agrégées, ainsi qu’un chemin direct (highway) qui intègre la mémoire du pas de temps précédent. Ainsi, grâce à la SAM, il devient possible d’extraire des caractéristiques présentant des dépendances spatio-temporelles à longue portée. En outre, nous intégrons la SAM dans un ConvLSTM standard pour construire un modèle appelé SA-ConvLSTM, dédié à la prédiction spatio-temporelle. Dans nos expérimentations, nous appliquons le SA-ConvLSTM à la prédiction de trames sur les jeux de données MovingMNIST et KTH, ainsi qu’à la prédiction de flux de trafic sur le jeu de données TexiBJ. Le SA-ConvLSTM atteint des résultats de pointe sur ces deux jeux de données, avec un nombre réduit de paramètres et une efficacité temporelle supérieure à celle des méthodes précédemment les plus performantes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp