Réseau de GAN avec intégration a priori pour la restauration aveugle des visages dans des conditions réelles

La restauration de visages aveugles (BFR) à partir d'images de visages fortement dégradées dans des conditions réelles est un problème très complexe. En raison de la forte ill-posedness du problème et de la dégradation inconnue et complexe, l'entraînement direct d'un réseau neuronal profond (DNN) ne conduit généralement pas à des résultats acceptables. Les méthodes existantes basées sur les réseaux génératifs adverses (GAN) peuvent produire de meilleurs résultats, mais elles ont tendance à générer des restaurations trop lisses. Dans ce travail, nous proposons une nouvelle méthode en apprenant d'abord un GAN pour la génération d'images de visages de haute qualité, puis en l'intégrant dans un réseau neuronal profond en forme de U comme décodeur a priori. Ensuite, nous affinons le DNN intégrant le priori GAN avec un ensemble d'images de visages de faible qualité synthétisées. Les blocs GAN sont conçus pour garantir que le code latent et l'entrée bruitée du GAN peuvent être respectivement générés à partir des caractéristiques profondes et superficielles du DNN, contrôlant ainsi la structure globale du visage, les détails locaux du visage et l'arrière-plan de l'image reconstruite. Le réseau intégrant le priori GAN proposé (GPEN) est facile à mettre en œuvre et peut générer des résultats visuellement photoréalistes. Nos expériences ont montré que le GPEN proposé obtient des résultats nettement supérieurs aux méthodes BFR les plus avancées actuellement disponibles, tant quantitativement que qualitativement, en particulier pour la restauration de visages fortement dégradés dans des conditions réelles. Le code source et les modèles peuvent être trouvés à l'adresse suivante : https://github.com/yangxy/GPEN.