Transformation de style progressive avec prise en compte sémantique pour la restauration aveugle des visages

La restauration faciale est cruciale dans le traitement des images de visage et a été largement étudiée ces dernières années. Cependant, les travaux précédents échouent souvent à générer des résultats de haute qualité (HQ) plausibles pour les images faciales de basse qualité (LQ) du monde réel. Dans cet article, nous proposons un nouveau cadre de transformation stylistique progressive et sémantiquement conscient, nommé PSFR-GAN, pour la restauration faciale. Plus précisément, au lieu d'utiliser un cadre encodeur-décodeur comme les méthodes précédentes, nous formulons la restauration des images faciales LQ comme une procédure de restauration progressive multi-échelle par transformation stylistique sémantiquement consciente. Étant donné un couple d'image faciale LQ et sa carte de segmentation correspondante, nous générons d'abord une pyramide multi-échelle des entrées, puis modulons progressivement les caractéristiques à différentes échelles de manière grossière à fine en utilisant une méthode de transfert stylistique sémantiquement consciente. Comparativement aux réseaux précédents, le PSFR-GAN proposé utilise pleinement les informations de l'espace sémantique (cartes de segmentation) et de l'espace pixel (images LQ) provenant des paires d'entrées à différentes échelles. De plus, nous introduisons une perte stylistique sémantiquement consciente qui calcule la perte stylistique des caractéristiques pour chaque région sémantique individuellement afin d'améliorer les détails des textures faciales. Enfin, nous pré-entraînons un réseau de segmentation faciale capable de générer des cartes de segmentation satisfaisantes à partir d'images faciales LQ du monde réel. Les résultats expérimentaux montrent que notre modèle entraîné avec des données synthétiques peut non seulement produire des résultats plus réalistes en haute résolution pour les entrées LQ synthétiques, mais aussi généraliser mieux aux images faciales LQ naturelles par rapport aux méthodes les plus avancées actuellement disponibles. Le code source est disponible sur https://github.com/chaofengc/PSFRGAN.