HyperAIHyperAI

Command Palette

Search for a command to run...

Zu interpretierbarer Videosuperauflösung durch alternierende Optimierung

Jiezhang Cao Jingyun Liang Kai Zhang Wenguan Wang Qin Wang Yulun Zhang Hao Tang Luc Van Gool

Zusammenfassung

In dieser Arbeit untersuchen wir ein praktisches Problem der räumlich-zeitlichen Videosuperauflösung (STVSR), das darauf abzielt, aus einem Video mit niedriger Framerate und geringer Auflösung, das unscharf ist, ein Video mit hoher Framerate und hoher Auflösung zu generieren, das scharf ist. Ein solches Problem tritt häufig auf, wenn man ein schnelles dynamisches Ereignis mit einer Kamera aufzeichnet, die eine niedrige Framerate und eine geringe Auflösung hat. Das aufgenommene Video leidet dann an drei typischen Problemen: i) Bewegungsunschärfe entsteht durch Objekt- oder Kameralbewegungen während der Belichtungszeit; ii) Bewegungsverzerrung ist unvermeidbar, wenn die zeitliche Frequenz des Ereignisses den Nyquist-Limes der zeitlichen Abtastung überschreitet; iii) Hochfrequenzdetails gehen verloren aufgrund der niedrigen räumlichen Abtastrate. Diese Probleme können durch eine Kaskade von drei getrennten Teilaufgaben gemildert werden, einschließlich Videodeblurring, Frameinterpolation und Superresolution. Allerdings würden diese Teilaufgaben versagen, die räumlichen und zeitlichen Korrelationen innerhalb von Videosequenzen zu erfassen. Um dies zu beheben, schlagen wir einen interpretierbaren STVSR-Rahmen vor, der sowohl modellbasierte als auch lernbasierte Methoden nutzt. Insbesondere formulieren wir STVSR als ein kombiniertes Problem von Videodeblurring, Frameinterpolation und Superresolution und lösen es in zwei Teilaufgaben alternierend. Für die erste Teilaufgabe leiten wir eine interpretierbare analytische Lösung her und verwenden sie als Fourier-Datentransformationslayer. Anschließend schlagen wir einen rekurrenten Videoverbesserungslayer für die zweite Teilaufgabe vor, um die Hochfrequenzdetails weiter zu restaurieren. Ausführliche Experimente zeigen die Überlegenheit unserer Methode hinsichtlich quantitativer Metriken und visueller Qualität.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zu interpretierbarer Videosuperauflösung durch alternierende Optimierung | Paper | HyperAI