Réseau de fréquence sélective pour la restauration d'images

La restauration d’images vise à reconstruire l’image nette latente à partir de son contrepartie dégradée. En plus de traiter cette tâche classique dans le domaine spatial, quelques approches cherchent des solutions dans le domaine fréquentiel, en tenant compte de l’écart important entre les spectres des paires d’images nettes et dégradées. Toutefois, ces travaux utilisent généralement des outils de transformation, tels que la transformation en ondelettes, pour séparer les caractéristiques en plusieurs composantes fréquentielles, ce qui manque de flexibilité pour sélectionner la composante fréquentielle la plus informative à restaurer. Dans cet article, nous exploitons un module à plusieurs branches et sensible au contenu afin de décomposer dynamiquement et localement les caractéristiques en sous-bandes fréquentielles distinctes, puis d’accentuer les composantes utiles à l’aide de poids d’attention par canal. En outre, pour traiter les dégradations importantes telles que les flous étendus, nous proposons un module de découplage et de modulation extrêmement simple, qui élargit le champ réceptif grâce au pooling moyen global et par fenêtre. En intégrant ces deux modules développés dans un squelette U-Net, le réseau de fréquence sélective (SFNet) obtient de meilleurs résultats que les algorithmes de pointe sur cinq tâches de restauration d’images, notamment la défloutage par défaut de mise au point unique, la débroussaille, le défloutage par mouvement, la déneige et la dépluie.