Réseau de Hiérarchie Mixte pour la Restauration d'Images

La restauration d'images est un problème de vision à bas niveau de longue date, par exemple le défloutage et la suppression de pluie. Dans le processus de restauration d'images, il est nécessaire de prendre en compte non seulement les détails spatiaux et les informations contextuelles pour garantir la qualité, mais aussi la complexité du système. Bien que de nombreuses méthodes aient été capables de garantir la qualité de la restauration d'images, la complexité du système des méthodes les plus avancées (state-of-the-art, SOTA) augmente également. Motivés par cette constatation, nous présentons un réseau à hiérarchie mixte qui peut équilibrer ces objectifs concurrents. Notre proposition principale est une architecture à hiérarchie mixte qui récupère progressivement les informations contextuelles et les détails spatiaux à partir d'images dégradées tout en concevant des blocs internes pour réduire la complexité du système. Plus précisément, notre modèle apprend d'abord les informations contextuelles en utilisant des architectures encodeur-décodeur, puis les combine avec des branches haute résolution qui préservent les détails spatiaux. Afin de réduire la complexité du système de cette architecture pour faciliter l'analyse et la comparaison, nous remplaçons ou supprimons la fonction d'activation non linéaire par une multiplication et utilisons une structure de réseau simple. De plus, nous remplaçons la convolution spatiale par une attention globale auto-appliquée pour le bloc central de l'encodeur-décodeur. L'architecture hiérarchique étroitement interconnectée résultante, nommée MHNet (Mixed Hierarchy Network), offre des gains de performance significatifs sur plusieurs tâches de restauration d'images, notamment la suppression de pluie et le défloutage.