Tiefes Video-Super-Resolution-Netzwerk mit dynamischen Aufsampling-Filtern ohne explizite Bewegungskompensation

Video-Super-Resolution (VSR) ist in letzter Zeit noch wichtiger geworden, um hochauflösende (HR) Inhalte für Ultra-High-Definition-Displays bereitzustellen. Obwohl zahlreiche auf tiefen Lernverfahren basierende VSR-Methoden vorgeschlagen wurden, beruhen die meisten stark auf der Genauigkeit der Bewegungsschätzung und -kompensation. In diesem Artikel stellen wir einen grundlegend anderen Ansatz für die VSR vor. Wir schlagen ein neuartiges end-to-end tiefes neuronales Netzwerk vor, das dynamische Upsampling-Filter und ein Restbild generiert, die jeweils auf der lokalen raumzeitlichen Nachbarschaft jedes Pixels basieren und somit eine explizite Bewegungskompensation vermeiden. Mit unserem Ansatz wird ein HR-Bild direkt aus dem Eingabebild unter Verwendung der dynamischen Upsampling-Filter rekonstruiert, während feine Details durch das berechnete Restbild hinzugefügt werden. Unser Netzwerk kann unter Verwendung einer neuen Daten-Augmentierungstechnik im Vergleich zu früheren Methoden deutlich schärfere HR-Videos mit zeitlicher Konsistenz erzeugen. Zudem liefern wir eine detaillierte Analyse unseres Netzwerks durch umfangreiche Experimente, um aufzuzeigen, wie das Netzwerk Bewegungen implizit verarbeitet.