Command Palette
Search for a command to run...
Vers une synthèse réaliste de photos de visages en croquis grâce à des GANs aidés par composition
Vers une synthèse réaliste de photos de visages en croquis grâce à des GANs aidés par composition
Résumé
La synthèse d’images faciales à partir de croquis (ou inversement) vise à générer un croquis facial ou une photo conditionnellement à une photo ou un croquis donnés. Cette tâche présente de nombreuses applications, notamment dans le domaine du divertissement numérique et de la sécurité publique. La reproduction précise des photos ou croquis faciaux reste toutefois un défi, en raison des contraintes liées à la réalisme structurel et à la cohérence texturale. Bien que les méthodes existantes atteignent des résultats convaincants, elles produisent généralement des effets flous et des déformations importantes sur divers composants du visage, entraînant une apparence peu réaliste des images synthétisées. Pour relever ce défi, nous proposons dans ce travail d’utiliser l’information de composition faciale afin d’améliorer la qualité de la synthèse de croquis ou de photos faciales. Plus précisément, nous introduisons un nouveau réseau génératif adversaire aidé par la composition (CA-GAN) pour la synthèse croquis-photo faciale. Dans CA-GAN, nous exploitons des paires d’entrées comprenant une photo ou un croquis facial ainsi que les étiquettes pixel-par-pixel correspondantes du visage, afin de générer un croquis ou une photo. En outre, afin de concentrer l’apprentissage sur les composants difficiles à générer et les structures faciales délicates, nous proposons une nouvelle fonction de perte de reconstruction par composition. Enfin, nous utilisons une architecture en cascade de CA-GAN (SCA-GAN) pour corriger davantage les défauts et ajouter des détails pertinents. Les résultats expérimentaux montrent que notre méthode est capable de produire des croquis ou photos faciales à la fois visuellement agréables et fidèles à l’identité, même sur des données extrêmement exigeantes. Notre approche atteint un niveau d’art de la synthèse, réduisant de manière significative la distance de Fréchet Inception (FID) par rapport aux meilleures méthodes précédentes. En outre, nous démontrons que la méthode proposée possède une capacité de généralisation remarquable. Le code source et les résultats sont désormais accessibles publiquement : https://fei-hdu.github.io/ca-gan/.