iiTransformer : Une Approche Unifiée pour Exploiter les Informations Locales et Non-Locales dans la Restauration d'Images

L’objectif de la restauration d’images consiste à récupérer une image de haute qualité à partir d’une entrée dégradée. Bien que des résultats remarquables aient été obtenus sur diverses tâches de restauration d’images grâce aux réseaux de neurones convolutifs (CNN), l’opération de convolution limite leur capacité à exploiter les informations situées en dehors de leur champ réceptif. Les transformateurs, qui utilisent le mécanisme d’attention auto-attention pour modéliser les dépendances à longue portée dans leurs entrées, ont démontré des résultats prometteurs dans plusieurs tâches de vision haute niveau. Dans cet article, nous proposons l’iiTransformer, un modèle qui modélise explicitement les dépendances à longue portée au niveau pixel et au niveau patch, car il présente un avantage à considérer à la fois les corrélations locales et non locales des caractéristiques. En outre, nous proposons une solution exempte d’artefacts aux bords, permettant de traiter des images de tailles arbitraires. Nous démontrons le potentiel de l’iiTransformer comme architecture fondamentale polyvalente à travers des expériences approfondies sur diverses tâches de restauration d’images.