Zu interpretierbarer Videosuperauflösung durch alternierende Optimierung

In dieser Arbeit untersuchen wir ein praktisches Problem der räumlich-zeitlichen Videosuperauflösung (STVSR), das darauf abzielt, aus einem Video mit niedriger Framerate und geringer Auflösung, das unscharf ist, ein Video mit hoher Framerate und hoher Auflösung zu generieren, das scharf ist. Ein solches Problem tritt häufig auf, wenn man ein schnelles dynamisches Ereignis mit einer Kamera aufzeichnet, die eine niedrige Framerate und eine geringe Auflösung hat. Das aufgenommene Video leidet dann an drei typischen Problemen: i) Bewegungsunschärfe entsteht durch Objekt- oder Kameralbewegungen während der Belichtungszeit; ii) Bewegungsverzerrung ist unvermeidbar, wenn die zeitliche Frequenz des Ereignisses den Nyquist-Limes der zeitlichen Abtastung überschreitet; iii) Hochfrequenzdetails gehen verloren aufgrund der niedrigen räumlichen Abtastrate. Diese Probleme können durch eine Kaskade von drei getrennten Teilaufgaben gemildert werden, einschließlich Videodeblurring, Frameinterpolation und Superresolution. Allerdings würden diese Teilaufgaben versagen, die räumlichen und zeitlichen Korrelationen innerhalb von Videosequenzen zu erfassen. Um dies zu beheben, schlagen wir einen interpretierbaren STVSR-Rahmen vor, der sowohl modellbasierte als auch lernbasierte Methoden nutzt. Insbesondere formulieren wir STVSR als ein kombiniertes Problem von Videodeblurring, Frameinterpolation und Superresolution und lösen es in zwei Teilaufgaben alternierend. Für die erste Teilaufgabe leiten wir eine interpretierbare analytische Lösung her und verwenden sie als Fourier-Datentransformationslayer. Anschließend schlagen wir einen rekurrenten Videoverbesserungslayer für die zweite Teilaufgabe vor, um die Hochfrequenzdetails weiter zu restaurieren. Ausführliche Experimente zeigen die Überlegenheit unserer Methode hinsichtlich quantitativer Metriken und visueller Qualität.