Frame-Rekurrente Video-Superauflösung

Neuere Fortschritte im Bereich der Video-Super-Resolution haben gezeigt, dass Faltungsschicht-Neuronale Netze (Convolutional Neural Networks) in Kombination mit Bewegungskompensation in der Lage sind, Informationen aus mehreren niedrigen Auflösungen (LR) zu fusionieren, um hochwertige Bilder zu generieren. Die aktuell besten Methoden verarbeiten einen Stapel von LR-Bildern, um ein einzelnes hochauflösendes Bild (HR) zu erzeugen, und führen dieses Verfahren über den gesamten Filmstreifen hinweg in einem gleitenden Fenstermodus durch, wodurch das Problem als eine große Anzahl getrennter Multi-Frame-Super-Resolution-Aufgaben behandelt wird. Dieser Ansatz hat zwei Hauptnachteile: 1) Jedes Eingabebild wird mehrfach verarbeitet und verzerrt, was die Rechenkosten erhöht, und 2) jedes Ausgabebild wird unabhängig von den Eingabebildern geschätzt, was die Fähigkeit des Systems einschränkt, zeitlich konsistente Ergebnisse zu produzieren.In dieser Arbeit schlagen wir einen end-to-end trainierbaren Frame-Rekurrenten Video-Super-Resolution-Framework vor, das die zuvor abgeleitete HR-Schätzung verwendet, um das folgende Bild aufzulösen. Dies fördert auf natürliche Weise zeitlich konsistente Ergebnisse und reduziert die Rechenkosten dadurch, dass nur ein Bild in jedem Schritt verzerrt wird. Zudem ermöglicht es die rekurrente Natur der Methode, eine große Anzahl früherer Bilder ohne zusätzliche Rechenanforderungen zu integrieren. Umfangreiche Evaluierungen und Vergleiche mit früheren Methoden bestätigen die Stärken unseres Ansatzes und zeigen nachdrücklich, dass das vorgeschlagene Framework die aktuellen Standards deutlich übertreffen kann.