Tiefes Video-Super-Resolution unter Verwendung von HR-Optik-Fluss-Schätzung

Video-Super-Resolution (SR) zielt darauf ab, aus ihren Low-Resolution (LR)-Gegenstücken eine Folge von High-Resolution (HR)-Bildern mit plausiblen und zeitlich konsistenten Details zu generieren. Die zentrale Herausforderung bei der Video-SR besteht in der effektiven Ausnutzung der zeitlichen Abhängigkeiten zwischen aufeinanderfolgenden Bildern. Bestehende, auf tiefen Lernverfahren basierende Ansätze schätzen häufig optische Flüsse zwischen LR-Bildern, um zeitliche Abhängigkeiten zu erfassen. Allerdings behindert der Auflösungskonflikt zwischen den LR-optischen Flüssen und den HR-Ausgaben die Wiederherstellung feiner Details. In diesem Paper stellen wir ein end-to-end Video-SR-Netzwerk vor, das sowohl optische Flüsse als auch Bilder super-resolviert. Die Super-Resolution der optischen Flüsse aus LR-Bildern liefert präzise zeitliche Abhängigkeiten und verbessert letztlich die Leistung der Video-SR. Konkret schlagen wir zunächst ein optisches Fluss-Rekonstruktionsnetzwerk (OFRnet) vor, das HR-optische Flüsse auf einer grob-zu-fein-Methode schätzt. Anschließend wird eine Bewegungskompensation mithilfe der HR-optischen Flüsse durchgeführt, um die zeitliche Abhängigkeit zu kodieren. Schließlich werden die kompensierten LR-Eingaben einem Super-Resolution-Netzwerk (SRnet) zugeführt, um die SR-Ergebnisse zu generieren. Um die Wirksamkeit der HR-optischen Flüsse für die Verbesserung der SR-Leistung zu demonstrieren, wurden umfangreiche Experimente durchgeführt. Vergleichende Ergebnisse auf den Datensätzen Vid4 und DAVIS-10 zeigen, dass unser Netzwerk die derzeit beste Leistung erreicht.