Traitement d'images par GNN : rompre la rigidité en super-résolution

La super-résolution (SR) vise à reconstruire des images haute résolution à partir de leurs versions basse résolution. Les réseaux de neurones convolutifs (CNN) et les méthodes à attention sur fenêtre constituent deux grandes catégories de modèles classiques de SR. Toutefois, ces approches présentent une rigidité inhérente : dans les deux cas, chaque pixel extrait des informations à partir d’un nombre fixe de voisins, ce qui limite leur efficacité dans les tâches de SR. À l’inverse, nous exploitons la flexibilité des graphes et proposons un modèle de traitement d’image basé sur un graphe neuronal (Image Processing GNN, IPG), afin de rompre avec cette rigidité caractéristique des méthodes antérieures. Premièrement, la SR est déséquilibrée, car la majeure partie des efforts de reconstruction se concentre sur une petite proportion de régions riches en détails de l’image. Nous exploitons donc la flexibilité du degré des nœuds en attribuant des degrés plus élevés aux nœuds correspondant aux régions détaillées. Ensuite, pour construire des graphes favorisant une agrégation efficace dans le cadre de la SR, nous traitons l’image comme un ensemble de nœuds correspondant aux pixels, plutôt que comme un ensemble de nœuds associés à des patches. Enfin, nous considérons que l’information locale et l’information globale sont toutes deux cruciales pour atteindre de bonnes performances en SR. Afin de collecter efficacement des informations à la fois à l’échelle locale et à l’échelle globale via des graphes flexibles, nous recherchons les connexions entre nœuds dans des régions proches pour construire des graphes locaux, et établissons des connexions dans un espace d’échantillonnage à pas fixe sur toute l’image pour former des graphes globaux. La flexibilité inhérente aux graphes améliore significativement les performances du modèle IPG en SR. Les résultats expérimentaux sur diverses bases de données montrent que le modèle IPG proposé dépasse les meilleures méthodes de l’état de l’art. Le code source est disponible à l’adresse suivante : https://github.com/huawei-noah/Efficient-Computing/tree/master/LowLevel/IPG.