Approche un-à-plusieurs pour améliorer la résolution superieure

Récemment, des débats ont eu lieu concernant la nature mal posée de la super-résolution, selon laquelle plusieurs reconstructions possibles peuvent être associées à une même image à faible résolution. En s’appuyant sur les flows de normalisation, SRflow[23] atteint un état de l’art en qualité perceptuelle en apprenant la distribution des sorties plutôt que de produire une sortie déterministe vers une seule estimation. Dans cet article, nous adaptons les concepts de SRflow afin d’améliorer la super-résolution basée sur les GAN en exploitant correctement la propriété un-à-plusieurs. Nous modifions le générateur pour qu’il estime une distribution en tant qu’application de bruit aléatoire. Nous améliorons la fonction de perte de contenu, qui entrave les objectifs d’entraînement perceptuel. Nous proposons également des techniques supplémentaires d’entraînement afin d’optimiser davantage la qualité perceptuelle des images générées. Grâce aux méthodes proposées, nous avons pu améliorer les performances d’ESRGAN[1] dans le cadre de la super-résolution perceptuelle à un facteur 4, et atteindre un état de l’art en score LPIPS pour la super-résolution extrême perceptuelle à un facteur 16 en appliquant nos méthodes à RFB-ESRGAN[21].