Réseau récurrent non local pour la restauration d'images

De nombreuses méthodes classiques ont démontré que la non-localité de l'auto-similarité dans les images naturelles est un a priori efficace pour la restauration d'images. Cependant, il reste encore incertain et difficile d'exploiter cette propriété intrinsèque à travers des réseaux profonds. Dans cet article, nous proposons un réseau récurrent non-local (NLRN) comme première tentative d'intégrer des opérations non-locales dans un réseau neuronal récurrent (RNN) pour la restauration d'images. Les principales contributions de ce travail sont les suivantes : (1) Contrairement aux méthodes existantes qui mesurent l'auto-similarité de manière isolée, le module non-local proposé peut être intégré de manière flexible dans les réseaux profonds existants pour une formation bout-à-bout, afin de capturer la corrélation des caractéristiques profondes entre chaque emplacement et son voisinage. (2) Nous utilisons pleinement la structure RNN pour sa efficacité paramétrique et permettons que la corrélation des caractéristiques profondes soit propagée le long des états récurrents adjacents. Ce nouveau design améliore la robustesse face à une estimation inexacte de la corrélation due à des images fortement dégradées. (3) Nous montrons qu'il est essentiel de maintenir un voisinage confiné pour calculer la corrélation des caractéristiques profondes en présence d'images dégradées. Ceci contraste avec les pratiques existantes qui utilisent l'image entière. Des expériences approfondies ont été menées sur les tâches de débruitage et de sur-résolution d'images. Grâce aux opérations non-locales récurrentes et à la propagation de corrélation, le NLRN proposé obtient des résultats supérieurs aux méthodes de pointe avec beaucoup moins de paramètres.