SwinLSTM : Amélioration de la précision de la prédiction spatio-temporelle à l’aide du Swin Transformer et de l’LSTM

L’intégration des réseaux de neurones convolutifs (CNN) et des réseaux de neurones récurrents (RNN) pour capturer les dépendances spatio-temporelles constitue une stratégie courante dans les tâches de prédiction spatio-temporelle. Toutefois, la capacité des CNN à apprendre des informations spatiales locales réduit leur efficacité dans la capture des dépendances spatio-temporelles, limitant ainsi leur précision de prédiction. Dans cet article, nous proposons une nouvelle cellule récurrente, appelée SwinLSTM, qui intègre des blocs Swin Transformer et une version simplifiée de LSTM, une extension qui remplace la structure convolutive du ConvLSTM par un mécanisme d’attention auto-associative. En outre, nous avons conçu un réseau centré sur la cellule SwinLSTM pour la prédiction spatio-temporelle. Sans recourir à des astuces spécifiques, SwinLSTM surpasse les méthodes de pointe sur les jeux de données Moving MNIST, Human3.6m, TaxiBJ et KTH. En particulier, une amélioration significative de la précision de prédiction est observée par rapport au ConvLSTM. Nos résultats expérimentaux compétitifs démontrent que l’apprentissage des dépendances spatiales globales est plus avantageux pour les modèles dans la capture des dépendances spatio-temporelles. Nous espérons que SwinLSTM pourra servir de base solide pour promouvoir l’avancement de la précision de la prédiction spatio-temporelle. Le code source est disponible publiquement à l’adresse suivante : https://github.com/SongTang-x/SwinLSTM.