Zooming Slow-Mo: Schnelle und genaue einstufige Raum-Zeit-Super-Resolution von Videos

In dieser Arbeit untersuchen wir die Aufgabe der räumlich-zeitlichen Videosuperauflösung, die darauf abzielt, aus einem Video mit niedriger Bildfrequenz (LFR) und niedriger Auflösung (LR) ein hochaufgelöstes (HR) Zeitlupenvideo zu generieren. Eine einfache Lösung besteht darin, diese Aufgabe in zwei Teilprobleme aufzuteilen: Video-Bildinterpolation (VFI) und Videosuperauflösung (VSR). Allerdings sind zeitliche Interpolation und räumliche Superauflösung in dieser Aufgabe miteinander verknüpft. Zweistufige Methoden können diese natürliche Eigenschaft nicht vollständig nutzen. Zudem benötigen moderne VFI- oder VSR-Netze ein großes Modul zur Bildsynthese oder -rekonstruktion, um hochwertige Videobilder vorherzusagen, was die zweistufigen Methoden zu großen Modellgrößen führt und sie damit zeitaufwendig macht. Um diese Probleme zu überwinden, schlagen wir einen einstufigen Rahmen für die räumlich-zeitliche Videosuperauflösung vor, der direkt aus einem LFR-, LR-Video ein HR-Zeitlupenvideo synthetisiert. Anstatt fehlende LR-Videobilder wie VFI-Netze zu synthetisieren, interpolieren wir zunächst die zeitlichen Features von LR-Bildern in den fehlenden LR-Videobildern mittels des vorgeschlagenen Feature-Temporal-Interpolation-Netzes (FTIN), um lokale zeitliche Kontexte zu erfassen. Danach verwenden wir ein deformierbares ConvLSTM, um zeitliche Informationen simultan auszurichten und zusammenzuführen, um globale zeitliche Kontexte besser ausnutzen zu können. Schließlich wird ein tiefes Rekonstruktionsnetz verwendet, um HR-Zeitlupenvideobilder vorherzusagen. Ausführliche Experimente auf Benchmark-Datensätzen zeigen, dass die vorgeschlagene Methode nicht nur bessere quantitative und qualitative Leistungen erzielt, sondern auch mehr als dreimal schneller ist als jüngste zweistufige state-of-the-art-Methoden wie DAIN+EDVR und DAIN+RBPN.