Accélérer le réseau neuronal convolutif de super-résolution

En tant que modèle profond réussi appliqué à la sur-résolution d'images (SR), le réseau neuronal convolutif de sur-résolution (SRCNN) a démontré des performances supérieures aux modèles précédents conçus manuellement, tant en termes de vitesse que de qualité de restauration. Cependant, le coût computationnel élevé reste un obstacle à son utilisation pratique, qui exige des performances en temps réel (24 images par seconde). Dans cet article, nous visons à accélérer l'SRCNN actuel et proposons une structure CNN en forme d'hourglass compacte pour une sur-résolution plus rapide et de meilleure qualité. Nous redessinons la structure du SRCNN principalement sous trois angles. Premièrement, nous introduisons une couche de déconvolution à la fin du réseau, permettant ainsi d'apprendre directement la correspondance entre l'image d'entrée en basse résolution (sans interpolation) et l'image en haute résolution. Deuxièmement, nous reformulons la couche de correspondance en réduisant la dimensionnalité des caractéristiques d'entrée avant la correspondance et en la rétablissant ensuite. Troisièmement, nous adoptons des tailles de filtres plus petites mais un nombre plus important de couches de correspondance. Le modèle proposé atteint une accélération supérieure à 40 fois tout en offrant une qualité de restauration encore meilleure. De plus, nous présentons les paramètres qui permettent d'atteindre des performances en temps réel sur un CPU générique tout en conservant de bonnes performances. Une stratégie de transfert correspondante est également proposée pour accélérer l'entraînement et les tests à travers différents facteurs d'échelle.