Résolution d’image par super-résolution avec une attention non locale à travers les échelles et une exploration exhaustive de la recherche d’exemples auto-similaires

Les réseaux de super-résolution d’image unique (SISR) basés sur les réseaux de convolution profonds profitent des avantages de l’apprentissage à partir de grandes ressources externes d’images pour la reconstruction locale, mais la plupart des travaux existants ont ignoré les similarités à longue portée entre les caractéristiques dans les images naturelles. Certains travaux récents ont réussi à exploiter cette corrélation intrinsèque des caractéristiques en introduisant des modules d’attention non locale. Toutefois, aucun modèle profond actuel n’a encore exploré une autre propriété fondamentale des images : la corrélation des caractéristiques entre échelles. Dans cet article, nous proposons le premier module d’attention non locale à cross-échelle (CS-NL), intégré dans un réseau de neurones récurrent. En combinant ce nouveau prior CS-NL avec les priorités locales et intra-échelle non locales au sein d’une cellule de fusion récurrente puissante, nous parvenons à identifier davantage de corrélations inter-échelles au sein d’une seule image à faible résolution (LR). La performance de la SISR est significativement améliorée grâce à une intégration exhaustive de toutes les priorités possibles. Des expériences étendues démontrent l’efficacité du module CS-NL proposé, établissant de nouveaux états de l’art sur plusieurs benchmarks de SISR.