Zukünftige Videosynthese mit Objektbewegungsvorhersage

Wir präsentieren einen Ansatz zur Vorhersage zukünftiger Videobilder auf der Grundlage einer Folge kontinuierlicher Videobilder aus der Vergangenheit. Anstatt Bilder direkt zu synthetisieren, ist unser Ansatz darauf ausgelegt, die komplexen Szenendynamiken durch die Trennung von Hintergrund und bewegten Objekten zu verstehen. Die Erscheinung der Szenenkomponenten in der Zukunft wird durch eine nicht-starre Deformation des Hintergrunds und eine affine Transformation der bewegten Objekte vorhergesagt. Die erwarteten Erscheinungen werden kombiniert, um ein plausibles Video in der Zukunft zu erstellen. Mit diesem Verfahren zeigt unsere Methode deutlich weniger Risse oder Verzerrungsartefakte im Vergleich zu anderen Ansätzen. Experimentelle Ergebnisse auf den Datensätzen Cityscapes und KITTI belegen, dass unser Modell sowohl hinsichtlich visueller Qualität als auch Genauigkeit den aktuellen Stand der Technik übertrifft.