Restauration d'images par sélection de fréquence

La restauration d’image vise à reconstruire l’image nette latente à partir de son contrepartie dégradée. En plus de traiter cette tâche classique dans le domaine spatial, certaines approches cherchent des solutions dans le domaine fréquentiel en tenant compte de l’écart important entre les spectres des paires d’images nettes et dégradées. Toutefois, ces algorithmes utilisent généralement des outils de transformation, tels que la transformation en ondelettes, pour découper les caractéristiques en plusieurs composantes fréquentielles, ce qui présente une flexibilité insuffisante pour sélectionner la composante fréquentielle la plus informative à restaurer. Dans ce travail, nous exploitons un module multi-branche et sensible au contenu afin de décomposer dynamiquement et localement les caractéristiques en sous-bandes fréquentielles distinctes, puis d’accentuer les composantes utiles à l’aide de poids d’attention par canal. En outre, pour traiter les floues de dégradation à grande échelle, nous proposons un module de découplage et de modulation extrêmement simple, permettant d’élargir le champ réceptif grâce au pooling moyen global et par fenêtre. Enfin, nous intégrons le paradigme des réseaux multi-étapes dans un unique réseau de type U afin d’obtenir des champs réceptifs multi-échelles tout en améliorant l’efficacité. En combinant ces différentes architectures à un squelette convolutif, le réseau proposé, nommé Frequency Selection Network (FSNet), obtient des résultats supérieurs aux méthodes de pointe sur 20 jeux de données de référence pour six tâches représentatives de restauration d’image : déflouage par défocalisation d’image unique, débrouillardage d’image, déflouage par mouvement d’image, déneigement d’image, déraining d’image et débruitage d’image.