Hierarchisches Rückprojektionsnetzwerk für Bildsuperresolution

Tiefes Lernen basierte Methoden zur Super-Resolution von einzelnen Bildern verwenden eine große Anzahl von Trainingsdatensätzen und haben kürzlich sowohl quantitativ als auch qualitativ erhebliche Fortschritte in der Bildqualität erzielt. Die meisten tiefen Netze konzentrieren sich auf die nichtlineare Abbildung von niedrigen Auflösungen zu hohen Auflösungen durch Residuallernen, ohne die Merkmalsabstraktion und -analyse zu erforschen. Wir schlagen ein hierarchisches Rückprojektionsnetzwerk (Hierarchical Back Projection Network, HBPN) vor, das mehrere HourGlass (HG)-Module in einer Kaskade verwendet, um Merkmale in einem bottom-up und top-down Prozess über alle Skalen zu verarbeiten und verschiedene räumliche Korrelationen zu erfassen. Anschließend wird die beste Darstellung für die Rekonstruktion konsolidiert. In unserem vorgeschlagenen Netzwerk verwenden wir Rückprojektionsblöcke, um einen fehlerkorrelierten Upsampling- und Downsampling-Prozess bereitzustellen, der einfache Deconvolution- und Pooling-Prozesse ersetzt, um eine bessere Schätzung zu ermöglichen. Ein neuer Softmax-basierter gewichteter Rekonstruktionsprozess (Weighted Reconstruction, WR) wird verwendet, um die Ausgaben der HG-Module zu kombinieren und so die Super-Resolution weiter zu verbessern. Experimentelle Ergebnisse auf verschiedenen Datensätzen (einschließlich des Validierungsdatensatzes NTIRE2019 der Real Image Super-resolution Challenge) zeigen, dass unser vorgeschlagener Ansatz für verschiedene Skalierungsfaktoren die Leistung der aktuellen besten Methoden erreichen und verbessern kann.