Transformers basés sur le domaine fréquentiel efficaces pour le déflouage d’images de haute qualité

Nous présentons une méthode efficace et performante qui exploite les propriétés des Transformers dans le domaine fréquentiel pour le défloutage d’images de haute qualité. Notre approche s’inspire du théorème de la convolution, selon lequel la corrélation ou la convolution de deux signaux dans le domaine spatial équivaut à un produit élément par élément dans le domaine fréquentiel. Cette observation nous a conduit à concevoir un solveur d’attention auto-attention basé sur le domaine fréquentiel (FSAS, Frequency-domain-based Self-Attention Solver), qui estime l’attention produit-pointé pondéré par une opération de produit élément par élément, au lieu de la multiplication matricielle traditionnelle dans le domaine spatial. Par ailleurs, nous observons que l’utilisation naïve du réseau feed-forward (FFN) dans les Transformers ne permet pas d’obtenir de bons résultats de défloutage. Pour surmonter ce problème, nous proposons un FFN simple mais efficace basé sur le domaine fréquentiel et discriminant (DFFN), dans lequel nous intégrons un mécanisme à grille fondé sur l’algorithme de compression JPEG afin de déterminer de manière discriminante les composantes à basse et à haute fréquence des caractéristiques à préserver pour la restauration de l’image claire latente. Nous intégrons les composants proposés FSAS et DFFN dans un réseau asymétrique basé sur une architecture encodeur-décodeur, où le FSAS n’est utilisé qu’au sein du module décodeur afin d’améliorer la qualité du défloutage. Les résultats expérimentaux montrent que la méthode proposée se distingue favorablement par rapport aux approches les plus avancées de l’état de l’art. Le code sera disponible à l’adresse suivante : \url{https://github.com/kkkls/FFTformer}.