Rekurrentes Rückprojektionsnetzwerk für Videosuperauflösung

Wir schlagen eine neue Architektur für das Problem der Video-Super-Resolution vor. Mithilfe eines rekurrenten Encoder-Decoder-Moduls integrieren wir räumliche und zeitliche Kontexte aus kontinuierlichen Videobildern, wobei mehrbildige Informationen mit dem traditionelleren, einbildigen Super-Resolution-Pfad für das Zielbild fusioniert werden. Im Gegensatz zu den meisten bisherigen Ansätzen, bei denen die Bilder durch Stapeln oder Warpung zusammengefasst werden, behandelt unser Modell, das Rekurrente Back-Projection Network (RBPN), jedes Kontextbild als eine separate Informationsquelle. Diese Quellen werden in einem iterativen Verfeinerungsrahmen kombiniert, der von der Idee der Rückprojektion in der Mehrbild-Super-Resolution inspiriert ist. Dies wird unterstützt durch die explizite Darstellung des geschätzten Interframe-Bewegungsverhaltens im Bezug zum Zielbild, anstatt die Bilder explizit auszurichten. Wir schlagen zudem einen neuen Benchmark für Video-Super-Resolution vor, der es ermöglicht, Evaluationen in größerem Maßstab durchzuführen und Videos in verschiedenen Bewegungsregimen zu berücksichtigen. Experimentelle Ergebnisse zeigen, dass unser RBPN auf mehreren Datensätzen den bestehenden Methoden überlegen ist.