Stochastische variationelle Video-Vorhersage

Die Vorhersage der Zukunft in realen Umgebungen, insbesondere auf Basis roher sensorischer Beobachtungen wie Bilder, ist außerordentlich herausfordernd. Reale Ereignisse können stochastisch und unvorhersehbar sein, und die hohe Dimensionalität und Komplexität von natürlichen Bildern erfordert, dass das Vorhersagemodell ein detailliertes Verständnis der natürlichen Welt aufbaut. Viele existierende Methoden lösen dieses Problem, indem sie vereinfachende Annahmen über die Umgebung treffen. Eine häufige Annahme ist, dass das Ergebnis deterministisch ist und nur eine plausibele Zukunft existiert. Dies kann zu Vorhersagen niedriger Qualität in realen Umgebungen mit stochastischen Dynamiken führen. In dieser Arbeit entwickeln wir eine Methode zur stochastischen variationellen Videovorhersage (SV2P), die für jedes Sample ihrer latente Variablen eine unterschiedliche mögliche Zukunft vorhersagt. Nach unserem Wissen ist unser Modell das erste, das effektive stochastische Mehrbildvorhersagen für reale Videos bereitstellt. Wir demonstrieren die Fähigkeit der vorgeschlagenen Methode zur Vorhersage detaillierter zukünftiger Videobilder auf mehreren realen Datensätzen, sowohl ohne als auch unter Berücksichtigung von Aktionen. Wir stellen fest, dass unsere vorgeschlagene Methode im Vergleich zum gleichen Modell ohne Stochastizität sowie zu anderen stochastischen Video-Vorhersagemethoden erheblich verbesserte Video-Vorhersagen erzeugt. Unser SV2P-Implementierung wird bei Veröffentlichung offengelegt werden.