Synthèse de haute qualité d'esquisses photographiques faciales à l'aide de réseaux multi-adverses

La synthèse de croquis faciaux à partir de photos réelles et son inverse ont de nombreuses applications. Cependant, la synthèse photo/croquis reste un problème complexe en raison des caractéristiques différentes entre les photos et les croquis. Dans ce travail, nous considérons cette tâche comme un problème de traduction d'image à image et explorons les modèles génératifs récemment populaires (GANs) pour générer des photos réalistes de haute qualité à partir de croquis et vice versa. Les méthodes basées sur les GANs ont montré des résultats prometteurs dans les problèmes de traduction d'image à image, en particulier pour la synthèse photo-croquis, mais elles sont connues pour avoir des capacités limitées en matière de génération d'images réalistes à haute résolution. À cet égard, nous proposons un nouveau cadre de synthèse appelé Synthèse Photo-Croquis utilisant des Réseaux Multi-Adverses (PS2-MAN), qui génère itérativement des images de faible résolution à haute résolution de manière antagoniste. Les couches cachées du générateur sont supervisées pour générer d'abord des images de faible résolution, suivies d'un raffinement implicite dans le réseau afin de produire des images de plus haute résolution. De plus, étant donné que la synthèse photo-croquis est un problème de traduction couplée/pairée, nous exploitons l'information paire en utilisant le cadre CycleGAN. Des expériences d'évaluation de la qualité des images (IQA) et de correspondance photo-croquis sont menées pour démontrer la supériorité de notre cadre par rapport aux solutions existantes les plus avancées. Le code est disponible à l'adresse suivante : https://github.com/lidan1/PhotoSketchMAN.