Prédiction Stochastique par Variation de Vidéo

Prédire l'avenir dans des contextes réels, en particulier à partir d'observations sensorielles brutes telles que des images, est extrêmement difficile. Les événements du monde réel peuvent être stochastiques et imprévisibles, et la haute dimensionnalité et la complexité des images naturelles exigent que le modèle prédictif construise une compréhension détaillée du monde naturel. De nombreuses méthodes existantes abordent ce problème en faisant des hypothèses simplificatrices sur l'environnement. Une hypothèse courante est que le résultat est déterministe et qu'il n'y a qu'un seul avenir plausible. Cela peut entraîner des prédictions de mauvaise qualité dans des contextes réels avec des dynamiques stochastiques. Dans cet article, nous développons une méthode de prédiction vidéo variationnelle stochastique (SV2P) qui prédit un avenir possible différent pour chaque échantillon de ses variables latentes. À notre connaissance, notre modèle est le premier à fournir une prédiction efficace multi-images stochastique pour les vidéos du monde réel. Nous démontrons la capacité de la méthode proposée à prédire des images futures détaillées de vidéos sur plusieurs jeux de données réels, tant sans action qu'avec action conditionnée. Nous constatons que notre méthode proposée produit des prédictions vidéo considérablement améliorées par rapport au même modèle sans stochasticité, et par rapport à d'autres méthodes de prédiction vidéo stochastique. Notre implémentation SV2P sera mise à disposition sous licence open source à la publication de cet article.