Bidirektionale rekurrente convolutionale Netzwerke für die Multi-Frame-Super-Resolution

Die Super-Resolution eines Low-Resolution-Videos wird üblicherweise entweder durch Single-Image-Super-Resolution (SR) oder Multi-Frame-SR behandelt. Bei der Single-Image-SR werden die einzelnen Videoframes unabhängig voneinander verarbeitet, wodurch die inhärente zeitliche Abhängigkeit zwischen den Frames ignoriert wird – eine Eigenschaft, die für die Video-Super-Resolution jedoch von entscheidender Bedeutung ist. Die Multi-Frame-SR extrahiert hingegen in der Regel Bewegungsinformationen, beispielsweise optische Flüsse, um die zeitliche Abhängigkeit zu modellieren, was jedoch oft mit hohem Rechenaufwand verbunden ist. Da rekurrente neuronale Netze (RNN) besonders gut in der Lage sind, langfristige kontextuelle Informationen zeitlicher Sequenzen zu modellieren, schlagen wir ein bidirektionales rekurrentes konvolutionales Netzwerk zur effizienten Multi-Frame-SR vor. Im Gegensatz zu herkömmlichen RNNs werden 1) die üblicherweise verwendeten rekurrenten vollständigen Verbindungen durch gewichtete, sich wiederholende konvolutionale Verbindungen ersetzt und 2) bedingte konvolutionale Verbindungen von vorherigen Eingabeschichten zur aktuellen versteckten Schicht hinzugefügt, um die Modellierung der visuell-zeitlichen Abhängigkeit zu verbessern. Durch die leistungsstarke Modellierung zeitlicher Abhängigkeiten kann unser Modell Videos mit komplexen Bewegungen effizient super-auflösen und erreicht dabei eine state-of-the-art-Leistung. Aufgrund der kostengünstigen konvolutionalen Operationen weist unser Modell eine geringe Rechenkomplexität auf und läuft um Größenordnungen schneller als andere Multi-Frame-Methoden.