Stochastische latente Residual-Videovorhersage

Die Entwicklung von Videovorhersagemodellen, die die inhärente Unsicherheit der Zukunft berücksichtigen, ist herausfordernd. Die meisten Ansätze in der Literatur basieren auf stochastischen Bild-autoregressiven rekurrenten Netzwerken, was mehrere Probleme hinsichtlich Leistung und Anwendbarkeit mit sich bringt. Eine Alternative stellen vollständig latente zeitliche Modelle dar, die die Bildsynthese und die zeitlichen Dynamiken entkoppeln. Bislang wurde jedoch kein solches Modell für stochastische Videovorhersage in der Literatur vorgestellt, da sowohl Design- als auch Trainingsprobleme bestehen. In diesem Paper überwinden wir diese Schwierigkeiten, indem wir ein neuartiges stochastisches zeitliches Modell einführen, dessen Dynamik in einem latente Raum durch eine Residual-Update-Regel gesteuert wird. Dieses ersten-Ordnungsschema ist durch Diskretisierungsschemata von Differentialgleichungen motiviert. Es modelliert Videodynamiken natürlicherweise, da es unser einfacheres, interpretierbareres latentes Modell ermöglicht, auf anspruchsvollen Datensätzen die vorherigen State-of-the-Art-Methoden zu übertraff.