Mémoire dans la Mémoire : Un Réseau Neuronal Prédictif pour Apprendre la Non-Stationnarité d'Ordre Supérieur à Partir des Dynamiques Spatio-Temporelles

Les processus spatio-temporels naturels peuvent être hautement non stationnaires de nombreuses manières, par exemple la non stationnarité de bas niveau telle que les corrélations spatiales ou les dépendances temporelles des valeurs de pixels locaux ; et les variations de haut niveau telles que l'accumulation, la déformation ou la dissipation des échos radar dans le contexte de prévision des précipitations. D'après la décomposition de Cramer, tout processus non stationnaire peut être décomposé en polynômes déterministes variant avec le temps, plus un terme stochastique à moyenne nulle. En appliquant correctement des opérations de différenciation, il est possible de transformer les polynômes variant avec le temps en une constante, rendant ainsi la composante déterministe prévisible. Cependant, la plupart des réseaux neuronaux récurrents précédents pour la prédiction spatio-temporelle n'utilisent pas efficacement les signaux différentiels, et leurs fonctions de transition d'état relativement simples les empêchent d'apprendre des variations trop complexes dans l'espace-temps. Nous proposons les réseaux Memory In Memory (MIM) et les blocs récurrents correspondants à cette fin. Les blocs MIM exploitent les signaux différentiels entre les états récurrents adjacents pour modéliser les propriétés non stationnaires et approximativement stationnaires dans les dynamiques spatio-temporelles à l'aide de deux modules mémoire en cascade, auto-renouvelables. En empilant plusieurs blocs MIM, nous pourrions potentiellement traiter des non-stationnarités d'ordre supérieur. Les réseaux MIM obtiennent des résultats d'état de l'art sur quatre tâches de prédiction spatio-temporelle couvrant à la fois des jeux de données synthétiques et réels. Nous croyons que l'idée générale de ce travail peut potentiellement être appliquée à d'autres tâches de prévision de séries temporelles.