Réseau de Projection Rétro-Hiérarchique pour la Sur-Résolution d'Images

Les méthodes de sur-résolution d'images uniques basées sur l'apprentissage profond utilisent un grand nombre de jeux de données d'entraînement et ont récemment réalisé des progrès significatifs en termes de qualité, tant quantitatifs que qualitatifs. La plupart des réseaux profonds se concentrent sur la cartographie non linéaire des entrées à faible résolution aux sorties à haute résolution par le biais de l'apprentissage résiduel, sans explorer l'abstraction et l'analyse des caractéristiques. Nous proposons un Réseau de Projection Hiérarchique (Hierarchical Back Projection Network, HBPN) qui cascade plusieurs modules HourGlass (HG) pour traiter les caractéristiques dans une approche ascendante et descendante à travers toutes les échelles, afin de capturer diverses corrélations spatiales, puis consolider la meilleure représentation pour la reconstruction. Dans notre réseau proposé, nous utilisons des blocs de projection arrière pour fournir un processus d'échantillonnage ascendant et descendant corrélé aux erreurs, remplaçant ainsi le processus simple de déconvolution et de mise en pool pour une meilleure estimation. Un nouveau processus de Reconstruction Pondérée basé sur Softmax (Weighted Reconstruction, WR) est utilisé pour combiner les sorties des modules HG afin d'améliorer encore davantage la sur-résolution. Les résultats expérimentaux sur divers jeux de données (y compris le jeu de données de validation NTIRE2019 du Défi de Sur-résolution d'Images Réelles) montrent que notre approche proposée peut atteindre et surpasser les performances des méthodes les plus avancées pour différents facteurs d'échelle.