PredRNN : Un réseau de neurones récurrent pour l'apprentissage prédictif spatiotemporel

L'apprentissage prédictif des séquences spatio-temporelles vise à générer des images futures à partir d'un contexte historique, dans lequel les dynamiques visuelles sont censées présenter une structure modulaire pouvant être apprise à l’aide de sous-systèmes composites. Ce papier modélise ces structures en proposant PredRNN, un nouveau réseau récurrent dont deux cellules mémoire sont explicitement découplées, évoluent de manière quasi indépendante selon leurs transitions respectives, puis se combinent pour former des représentations unifiées du milieu complexe. Plus précisément, outre la cellule mémoire originale de LSTM, ce réseau est caractérisé par un flux mémoire en zigzag qui se propage à la fois de bas en haut et de haut en bas à travers toutes les couches, permettant ainsi une communication entre les dynamiques visuelles apprises à différents niveaux du réseau RNN. Il utilise également une perte de découplage mémoire afin d’éviter que les cellules mémoire n’apprennent des caractéristiques redondantes. Nous proposons par ailleurs une nouvelle stratégie d’apprentissage par curriculum visant à forcer PredRNN à apprendre les dynamiques à long terme à partir des cadres contextuels, une approche pouvant être généralisée à la plupart des modèles séquence-à-séquence. Des études d’ablation détaillées sont fournies afin de valider l’efficacité de chaque composant. Notre approche obtient des résultats très compétitifs sur cinq jeux de données, dans à la fois des scénarios d’apprentissage prédictif sans action et conditionnés par une action.