Apprentissage de caractéristiques enrichies pour la restauration et l'amélioration d'images réelles

Dans le but de restaurer un contenu d'image de haute qualité à partir d'une version dégradée, la restauration d'images connaît de nombreuses applications, notamment dans le domaine de la surveillance, de la photographie computationnelle, de l'imagerie médicale et de l'imagerie à distance. Récemment, les réseaux de neurones convolutifs (CNN) ont permis des progrès considérables par rapport aux approches conventionnelles pour la tâche de restauration d'images. Les méthodes basées sur les CNN existantes opèrent généralement soit sur des représentations à pleine résolution, soit sur des représentations progressivement à basse résolution. Dans le premier cas, on obtient des résultats spatialement précis mais moins robustes du point de vue du contexte, tandis que dans le second cas, les sorties sont sémantiquement fiables mais moins précises sur le plan spatial. Dans cet article, nous proposons une nouvelle architecture dont les objectifs collectifs sont de préserver des représentations haute résolution spatialement précises tout au long du réseau, tout en tirant parti d'informations contextuelles fortes provenant des représentations à basse résolution. Le cœur de notre approche repose sur un bloc résiduel multi-échelle comprenant plusieurs éléments clés : (a) des flux de convolution parallèles à plusieurs résolutions pour extraire des caractéristiques multi-échelles, (b) un échange d'information entre les différents flux à différentes résolutions, (c) des mécanismes d'attention spatiale et canal pour capturer les informations contextuelles, et (d) une agrégation des caractéristiques multi-échelles basée sur l'attention. En résumé, notre méthode apprend un ensemble enrichi de caractéristiques combinant des informations contextuelles provenant de plusieurs échelles, tout en préservant simultanément les détails spatiaux de haute résolution. Des expériences étendues sur cinq jeux de données réels de benchmark démontrent que notre méthode, nommée MIRNet, atteint des résultats de pointe pour diverses tâches de traitement d'images, notamment le débruitage d'images, la super-résolution et l'amélioration d'images. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/swz30/MIRNet.