Modélisation efficace et explicite des hiérarchies d’images pour la restauration d’images

Le but de cet article est de proposer un mécanisme permettant de modéliser de manière efficace et explicite les hiérarchies d’images aux échelles globale, régionale et locale pour la restauration d’images. Pour atteindre cet objectif, nous commençons par analyser deux propriétés importantes des images naturelles : la similarité entre échelles et les caractéristiques anisotropes des images. Inspirés par ces observations, nous proposons une attention auto-épinglée en bandelettes, qui atteint un bon équilibre entre la complexité spatiale et temporelle de l’attention auto et la capacité de modélisation au-delà de l’échelle régionale. Ensuite, nous introduisons une nouvelle architecture de réseau, nommée GRL, qui modélise explicitement les hiérarchies d’images aux échelles globale, régionale et locale grâce à une attention auto en bandelettes épinglées, une attention auto en fenêtres et une convolution renforcée par une attention sur les canaux. Enfin, le réseau proposé est appliqué à sept types de restauration d’images, couvrant à la fois des scénarios réels et synthétiques. La méthode proposée établit un nouveau état de l’art pour plusieurs de ces tâches. Le code sera disponible à l’adresse suivante : https://github.com/ofsoundof/GRL-Image-Restoration.git.