SRFlow : Apprentissage de l’espace de super-résolution à l’aide d’un flot normalisant

La super-résolution est un problème mal posé, car elle autorise plusieurs prédictions pour une même image à faible résolution. Ce fait fondamental est largement ignoré par les approches actuelles basées sur l’apprentissage profond. Ces méthodes entraînent en effet une application déterministe à l’aide de combinaisons de pertes de reconstruction et de pertes adversariales. Dans ce travail, nous proposons donc SRFlow : une méthode de super-résolution basée sur les flows de normalisation, capable d’apprendre la distribution conditionnelle de la sortie donnée l’entrée à faible résolution. Notre modèle est entraîné de manière rigoureuse à l’aide d’une seule perte, à savoir la log-vraisemblance négative. SRFlow prend ainsi directement en compte la nature mal posée du problème et apprend à prédire des images haute résolution diverses et photoréalistes. En outre, nous exploitons la forte postérieure d’image apprise par SRFlow pour concevoir des techniques souples de manipulation d’images, capables d’améliorer les images super-résolues, par exemple en transférant du contenu provenant d’autres images. Nous menons des expériences étendues sur des visages, ainsi que sur la super-résolution en général. SRFlow surpasse les approches de pointe basées sur les GAN en termes de métriques PSNR et de qualité perceptuelle, tout en permettant une diversité grâce à l’exploration de l’espace des solutions super-résolues.