Neubewertung der zeitlichen Modellierung für Video-Super-Resolution

Die Video-Super-Resolution spielt eine wichtige Rolle bei der Analyse von Überwachungsvideos und der Darstellung von Ultra-HD-Videos und hat sowohl in der Forschungsgemeinschaft als auch in der Industrie erhebliche Aufmerksamkeit erregt. Obwohl zahlreiche auf tiefen Lernverfahren basierende VSR-Methoden vorgeschlagen wurden, ist der direkte Vergleich dieser Ansätze schwierig, da verschiedene Verlustfunktionen und Trainingsdatensätze erheblichen Einfluss auf die Ergebnisse der Super-Resolution haben. In dieser Arbeit untersuchen und vergleichen wir sorgfältig drei Ansätze zur zeitlichen Modellierung (2D-CNN mit früher Fusion, 3D-CNN mit langsamer Fusion und rekurrente Neuronale Netzwerke) für die Video-Super-Resolution. Außerdem stellen wir ein neuartiges rekurrentes Residual-Netzwerk (RRN) zur effizienten Video-Super-Resolution vor, bei dem die Residual-Lernmethode genutzt wird, um die Stabilität des Trainings von RNNs zu gewährleisten und gleichzeitig die Leistung der Super-Resolution zu verbessern. Ausführliche Experimente zeigen, dass das vorgeschlagene RRN eine hohe Recheneffizienz aufweist und zeitlich konsistente VSR-Ergebnisse mit feineren Details liefert als andere Ansätze zur zeitlichen Modellierung. Zudem erzielt die vorgeschlagene Methode state-of-the-art-Ergebnisse auf mehreren weit verbreiteten Benchmarks.