Amélioration de la résolution des images faciales guidée par un exemple sans repères faciaux

De nos jours, en raison de la présence omniprésente des médias visuels, il existe une quantité considérable d'images de visages à haute résolution (HR) déjà disponibles. Par conséquent, pour améliorer la résolution d'une image de visage donnée à très basse résolution (LR), il est très probable de trouver une autre image de visage HR de la même personne qui peut être utilisée pour guider le processus. Dans cet article, nous proposons une solution basée sur un réseau neuronal convolutif (CNN), nommée GWAInet, qui applique l'amélioration de la résolution (SR) par un facteur de 8x sur les images de visages guidées par une autre image HR non contrainte de la même personne, avec des différences possibles en termes d'âge, d'expression, de posture ou de taille. GWAInet est formé selon une méthode générative adversariale pour produire des résultats d'images perceptuelles de haute qualité. L'utilisation de l'image HR guide est réalisée grâce à l'utilisation d'un sous-réseau warper qui aligne son contenu à l'image d'entrée et à l'utilisation d'une chaîne de fusion des caractéristiques pour les caractéristiques extraites de l'image guide déformée et de l'image d'entrée. Pendant l'apprentissage, la perte d'identité aide également à préserver les caractéristiques liées à l'identité en minimisant la distance entre les vecteurs d'emboîtement des images SR et HR réelles. Contrairement aux méthodes actuelles les plus avancées en matière d'amélioration de la résolution faciale, notre méthode ne nécessite pas de points clés du visage pour son apprentissage, ce qui renforce sa robustesse et lui permet de produire des détails fins également pour la région entourant le visage de manière uniforme. Notre méthode GWAInet produit des images photoréalistes avec un facteur d'échelle 8x et surpassent les méthodes les plus avancées en termes quantitatifs et qualitatifs perceptuels.