Beschleunigung des Super-Resolution Convolutional Neural Networks

Als erfolgreiche Tiefenmodell-Anwendung im Bereich der Bildsuperresolution (SR) hat das Super-Resolution Convolutional Neural Network (SRCNN) eine überlegene Leistung sowohl in Bezug auf Geschwindigkeit als auch auf Restaurationsqualität gegenüber den bisherigen manuell gestalteten Modellen gezeigt. Dennoch behindert der hohe Rechenaufwand die praktische Anwendung, die Echtzeit-Leistung (24 fps) erfordert. In dieser Arbeit zielen wir darauf ab, das aktuelle SRCNN zu beschleunigen und schlagen eine kompakte, stundenglasförmige CNN-Struktur vor, um eine schnellere und bessere SR zu erreichen. Wir überarbeiten die SRCNN-Struktur hauptsächlich in drei Aspekten. Erstens führen wir am Ende des Netzes eine Deconvolutionschicht ein, sodass die Abbildung direkt vom ursprünglichen Niedrigauflösungsbild (ohne Interpolation) zum Hochauflösungsbild gelernt wird. Zweitens reformulieren wir die Abbildungsschicht, indem wir die Eingangsmerkmalsdimension vor der Abbildung verkleinern und danach wieder erweitern. Drittens verwenden wir kleinere Filtergrößen, aber mehr Abbildungsschichten. Das vorgeschlagene Modell erreicht eine Beschleunigung von mehr als 40-fach mit sogar überlegener Restaurationsqualität. Darüber hinaus präsentieren wir Parameter-Einstellungen, die es ermöglichen, Echtzeit-Leistung auf einem generischen CPU zu erzielen, während gleichzeitig gute Leistung gewährleistet wird. Eine entsprechende Transferstrategie für schnelles Training und Testen bei verschiedenen Vergrößerungsfaktoren wird ebenfalls vorgeschlagen.