Réseau de Suppression Mutuelle pour la Prédiction Vidéo en Utilisant des Caractéristiques Désentrelacées

La prédiction vidéo a longtemps été considérée comme un problème difficile en raison de la présence non seulement d'informations spatiales de haute dimension, mais aussi d'informations temporelles complexes dans les vidéos. La prédiction vidéo peut être réalisée en identifiant des caractéristiques dans les images récentes et en utilisant ces caractéristiques pour générer des approximations des images futures. Nous abordons ce problème en dissociant les caractéristiques spatiales et temporelles dans les vidéos. Nous introduisons un réseau de suppression mutuelle (MSnet) qui est formé de manière antagoniste et produit ensuite des caractéristiques spatiales dépourvues d'informations sur le mouvement, ainsi que des caractéristiques de mouvement sans informations spatiales. MSnet utilise ensuite une connexion guidée par le mouvement au sein d'une architecture basée sur un encodeur-décododeur pour transformer les caractéristiques spatiales d'une image précédente à l'instant d'une image future. Nous montrons comment MSnet peut être utilisé pour la prédiction vidéo grâce à des représentations dissociées. Nous menons également des expériences pour évaluer l'efficacité de notre méthode à dissocier les caractéristiques. Bien qu'il dispose d'encodeurs plus simples, MSnet obtient de meilleurs résultats que d'autres méthodes récentes de prédiction vidéo.