Video-Frame-Synthese mittels tiefen Voxel-Fluss

Wir behandeln das Problem der Synthese neuer Videobilder in einem bestehenden Video, entweder zwischen den vorhandenen Bildern (Interpolation) oder nach ihnen (Extrapolation). Dieses Problem ist herausfordernd, da das Erscheinungsbild und die Bewegung in Videos sehr komplex sein können. Traditionelle lösungsansätze auf Basis von optischem Fluss scheitern oft an Stellen, an denen die Flussberechnung schwierig ist, während neuere neuronale Netzwerke-basierte Methoden, die Pixelwerte direkt erzeugen, häufig unscharfe Ergebnisse liefern. Wir kombinieren die Vorteile dieser beiden Methoden durch das Training eines tiefen Netzes, das lernt, Videobilder durch den Fluss von Pixelwerten aus bestehenden Bildern zu synthetisieren, was wir Deep Voxel Flow nennen. Unser Verfahren benötigt keine menschliche Überwachung und jedes Video kann als Trainingsdaten verwendet werden, indem man vorhandene Bilder entfernt und dann lernt, sie vorherzusagen. Die Technik ist effizient und kann bei jeder Videoaufnahmeauflösung angewendet werden. Wir zeigen, dass unsere Methode sowohl quantitativ als auch qualitativ bessere Ergebnisse als der aktuelle Stand der Technik liefert.