Découvertes intéressantes sur le choix de la fréquence pour le déflouage d'images

Le flou a naturellement été analysé dans le domaine fréquentiel, en estimant l’image nette latente et le noyau de flou à partir d’une image floue. Les avancées récentes en déflouage d’images conçoivent toujours des architectures end-to-end visant à apprendre la différence entre des paires d’images floues et nettes au niveau des pixels, ce qui conduit inévitablement à négliger l’importance des noyaux de flou. Cette étude met en évidence un phénomène intéressant : appliquer simplement l’opération ReLU sur le domaine fréquentiel d’une image floue, suivie d’une transformation de Fourier inverse — c’est-à-dire une sélection fréquentielle — fournit des informations fidèles sur le motif de flou (par exemple, la direction du flou et le niveau de flou, ce qui révèle implicitement le motif du noyau). À partir de cette observation, nous proposons d’intégrer des informations au niveau du noyau dans les réseaux de déflouage d’images en insérant des transformations de Fourier, une opération ReLU et une transformation de Fourier inverse dans le bloc standard ResBlock. Un convolution 1×1 est ensuite ajoutée afin de permettre au réseau d’ajuster des seuils flexibles pour la sélection fréquentielle. Nous désignons ce nouveau bloc construit comme le bloc Res FFT-ReLU, qui exploite à la fois les caractéristiques au niveau du noyau et au niveau des pixels grâce à l’apprentissage de représentations dual-domaine fréquentielles-espaciales. Des expériences étendues sont menées afin d’obtenir une analyse approfondie des mécanismes sous-jacents de la méthode. En outre, en intégrant ce bloc proposé dans NAFNet, nous atteignons un PSNR de 33,85 dB sur le jeu de données GoPro. Notre méthode améliore significativement les architectures de base sans introduire un grand nombre de paramètres, tout en maintenant une faible complexité computationnelle. Le code est disponible à l’adresse suivante : https://github.com/DeepMed-Lab/DeepRFT-AAAI2023.