Schnelle und genaue Bildsuperresolution durch Deep CNN mit Skip-Connection und Network-in-Network

Wir schlagen ein hoch effizientes und schnelleres Modell für die Super-Resolution von Einzelbildern (Single Image Super-Resolution, SISR) mit tiefen Faltungsneuralnetzen (Deep Convolutional Neural Networks, Deep CNN) vor. Tiefere Faltungsneuralnetze haben kürzlich gezeigt, dass sie eine signifikante Rekonstruktionsleistung bei der Super-Resolution von Einzelbildern erzielen. Der aktuelle Trend geht dahin, noch tiefere CNN-Schichten zu verwenden, um die Leistung zu verbessern. Allerdings verlangen tiefe Modelle größere Rechenressourcen und sind nicht für Netzwerk-Randgeräte wie Mobiltelefone, Tablets und IoT-Geräte geeignet.Unser Modell erreicht den Stand der Technik in Bezug auf die Rekonstruktionsleistung mit einem mindestens zehnmal geringeren Berechnungsaufwand durch die Verwendung von Deep CNN mit Residual Net, Skip Connection und Network in Network (DCSCN). Eine Kombination aus tiefen Faltungsneuralnetzen und Skip-Connection-Schichten wird als Feature-Extractor für Bildmerkmale sowohl in lokalen als auch in globalen Bereichen verwendet. Parallele 1x1-CNNs, wie das sogenannte Network in Network, werden ebenfalls zur Bildrekonstruktion eingesetzt. Diese Struktur reduziert die Dimensionen des Outputs der vorherigen Schicht für eine schnellere Berechnung mit minimalem Informationsverlust und ermöglicht es, Originalbilder direkt zu verarbeiten.Zudem optimieren wir die Anzahl der Schichten und Filter jedes CNNs erheblich, um den Berechnungsaufwand zu senken. Dadurch erreicht der vorgeschlagene Algorithmus nicht nur den Stand der Technik hinsichtlich der Leistungsfähigkeit, sondern ermöglicht auch eine schnellere und effizientere Berechnung. Der Quellcode ist unter https://github.com/jiny2001/dcscn-super-resolution verfügbar.