Echtzeit-Super-Resolution von einzelnen Bildern und Videos mit einem effizienten subpixelaren Faltungsneuralnetzwerk

Kürzlich haben mehrere Modelle, die auf tiefen neuronalen Netzen basieren, in Bezug auf Rekonstruktionsgenauigkeit und Rechengeschwindigkeit bei der Super-Resolution von einzelnen Bildern große Erfolge erzielt. In diesen Methoden wird das Eingangsbild mit geringer Auflösung (LR) vor der Rekonstruktion mithilfe eines einzelnen Filters, üblicherweise einer bikubischen Interpolation, in den Raum mit hoher Auflösung (HR) hochskaliert. Dies bedeutet, dass die Super-Resolution (SR)-Operation im HR-Raum durchgeführt wird. Wir zeigen, dass dies unteroptimal ist und die Rechenkomplexität erhöht. In dieser Arbeit präsentieren wir das erste Faltungsneuronale Netz (CNN), das eine Echtzeit-SR von 1080p-Videos auf einem einzelnen K2-GPU ermöglicht. Um dies zu erreichen, schlagen wir eine neuartige CNN-Architektur vor, bei der die Merkmalskarten im LR-Raum extrahiert werden. Darüber hinaus führen wir eine effiziente Sub-Pixel-Faltungsschicht ein, die eine Reihe von Hochskalierungsfilttern lernt, um die endgültigen LR-Merkmalskarten in den HR-Ausgang hochzuskalieren. Auf diese Weise ersetzen wir den manuell gestalteten Bikubikfilter im SR-Prozess durch komplexere Hochskalierungsfiltter, die für jede Merkmalskarte speziell trainiert wurden, und reduzieren gleichzeitig die Rechenkomplexität der gesamten SR-Operation. Wir evaluieren den vorgeschlagenen Ansatz anhand von Bildern und Videos aus öffentlich zugänglichen Datensätzen und zeigen, dass er erheblich bessere Ergebnisse liefert (+0.15 dB bei Bildern und +0.39 dB bei Videos) und um ein Vielfaches schneller ist als frühere CNN-basierte Methoden.