FFA-Net : Réseau d'attention de fusion de caractéristiques pour le dégommage d'image unique

Dans cet article, nous proposons un réseau d’attention à fusion de caractéristiques end-to-end (FFA-Net) visant à restaurer directement une image débarrassée du brouillard. L’architecture FFA-Net se compose de trois composants clés :1) Un module d’attention des caractéristiques (FA) novateur, qui combine le mécanisme d’attention sur les canaux (Channel Attention) avec celui sur les pixels (Pixel Attention), en tenant compte du fait que les caractéristiques par canal contiennent des informations pondérées radicalement différentes, et que la distribution du brouillard est inégale sur les différents pixels de l’image. Le module FA traite les caractéristiques et les pixels de manière inégale, offrant ainsi une flexibilité supplémentaire pour gérer différents types d’informations, tout en élargissant la capacité de représentation des réseaux de neurones convolutifs (CNN).2) Une structure de bloc de base fondée sur l’apprentissage local résiduel (Local Residual Learning) combiné à l’attention des caractéristiques. Ce mécanisme permet de contourner les informations moins pertinentes, telles que les régions à brouillard léger ou les composantes à faible fréquence, grâce à plusieurs connexions résiduelles locales, permettant ainsi à l’architecture principale du réseau de se concentrer sur les informations les plus efficaces.3) Une structure de fusion de caractéristiques à différents niveaux basée sur l’attention (FFA), dans laquelle les poids des caractéristiques sont appris de manière adaptative à partir du module d’attention des caractéristiques (FA), attribuant une plus grande importance aux caractéristiques les plus significatives. Cette structure permet également de préserver les informations des couches superficielles et de les transmettre aux couches profondes. Les résultats expérimentaux démontrent que le FFA-Net proposé dépasse largement les méthodes les plus avancées précédemment publiées pour la débrouillagisation d’image unique, tant sur le plan quantitatif que qualitatif. Il améliore le meilleur score publié de PSNR de 30,23 dB à 36,39 dB sur le jeu de données SOTS indoor. Le code source est disponible sur GitHub.