Vers la restauration de visages aveugles dans le monde réel avec un a priori facial génératif

La restauration aveugle de visages s'appuie généralement sur des a priori faciaux, tels que l'a priori géométrique du visage ou l'a priori de référence, pour restaurer des détails réalistes et fidèles. Cependant, les entrées de très faible qualité ne peuvent pas fournir un a priori géométrique précis, tandis que les références de haute qualité sont inaccessibles, ce qui limite l'application dans des scénarios réels. Dans cette étude, nous proposons le GFP-GAN, qui utilise des a priori riches et divers encapsulés dans un GAN facial préentraîné pour la restauration aveugle de visages. Ce générateur d'a priori faciaux (GFP) est intégré au processus de restauration faciale grâce à des couches de transformation spatiale par découpage de canaux novatrices, permettant à notre méthode d'atteindre un bon équilibre entre réalisme et fidélité. Grâce à l'a priori facial génératif puissant et aux conceptions soignées, notre GFP-GAN peut simultanément restaurer les détails du visage et améliorer les couleurs en une seule passe avant, tandis que les méthodes d'inversion GAN nécessitent une optimisation spécifique à chaque image coûteuse lors de l'inférence. De nombreuses expériences montrent que notre méthode offre des performances supérieures aux travaux antérieurs sur des ensembles de données synthétiques et réels.