Attention Fenêtrée Partitionnée par Canal et Apprentissage Fréquentiel pour la Résolution Unique d’Image

Récemment, les méthodes d’attention basées sur fenêtres ont montré un grand potentiel pour les tâches de vision par ordinateur, en particulier dans le cadre de la super-résolution d’image unique (SISR). Toutefois, elles peinent parfois à capturer les dépendances à longue portée et les relations entre des tokens éloignés. En outre, nous constatons que l’apprentissage dans le domaine spatial ne transmet pas le contenu fréquentiel de l’image, un aspect crucial dans le SISR. Pour surmonter ces limitations, nous proposons un nouveau modèle, le Channel-Partitioned Attention Transformer (CPAT), conçu pour mieux capturer les dépendances à longue portée grâce à une expansion séquentielle des fenêtres le long des dimensions hauteur et largeur des cartes de caractéristiques. Par ailleurs, nous introduisons un nouveau module, le Spatial-Frequency Interaction Module (SFIM), qui intègre des informations provenant à la fois des domaines spatial et fréquentiel afin d’offrir une représentation plus complète des cartes de caractéristiques. Ce module permet notamment de mieux capter le contenu fréquentiel et d’étendre le champ réceptif à l’ensemble de l’image. Les résultats expérimentaux démontrent l’efficacité de nos modules et de l’architecture proposée. En particulier, le CPAT dépasse les méthodes de l’état de l’art actuel de jusqu’à 0,31 dB sur la tâche de super-résolution x2 sur le jeu de données Urban100.