Résolution de super-image unique orientée perception par estimation objective optimale

Les réseaux de super-résolution à image unique (SISR) entraînés avec des pertes perceptuelles et adversariales produisent des sorties à fort contraste par rapport à celles entraînées avec des pertes orientées vers la distortion, telles que L1 ou L2. Toutefois, il a été démontré qu’un usage d’une seule perte perceptuelle s’avère insuffisant pour restaurer précisément des formes locales diversifiées et variantes dans les images, entraînant fréquemment des artefacts indésirables ou des détails peu naturels. Ainsi, des combinaisons de diverses pertes — telles que perceptuelles, adversariales et de distortion — ont été explorées, mais il reste difficile de déterminer les combinaisons optimales. Dans ce papier, nous proposons un nouveau cadre SISR qui applique des objectifs optimaux à chaque région afin de générer des résultats plausibles sur l’ensemble des zones des sorties haute résolution. Plus précisément, ce cadre repose sur deux modèles : un modèle prédictif qui infère une carte d’objectif optimale à partir d’un input basse résolution (LR), et un modèle générateur qui applique une carte d’objectif cible pour produire la sortie haute résolution correspondante. Le modèle générateur est entraîné sur une trajectoire d’objectifs proposée, représentant un ensemble d’objectifs essentiels, ce qui permet à un seul réseau d’apprendre divers résultats de SISR correspondant à des combinaisons de pertes le long de cette trajectoire. Le modèle prédictif est lui entraîné à partir de paires d’images basses résolutions et de cartes d’objectifs optimales extraites de la trajectoire d’objectifs. Les résultats expérimentaux sur cinq benchmarks montrent que la méthode proposée surpasser les états de l’art des méthodes SISR orientées vers la perception selon les métriques LPIPS, DISTS, PSNR et SSIM. Les résultats visuels démontrent également l’efficacité supérieure de notre approche dans la reconstruction orientée vers la perception. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/seungho-snu/SROOE.