Vers une synthèse réaliste de photos et croquis de visages grâce aux GANs assistés par la composition
La synthèse photo-croquis du visage vise à générer un croquis/foto de visage conditionné par une photo/croquis donnée. Cette technique trouve de nombreuses applications dans le divertissement numérique et l'application de la loi. La représentation précise des photos/croquis de visage reste toutefois un défi en raison des contraintes sur le réalisme structurel et la cohérence texturale. Bien que les méthodes existantes obtiennent des résultats convaincants, elles produisent souvent des effets flous et des déformations importantes sur divers éléments faciaux, ce qui donne aux images synthétisées un aspect irréaliste. Pour relever ce défi, nous proposons dans cette étude d'utiliser les informations de composition faciale pour aider à la synthèse du croquis/photo de visage. Plus précisément, nous introduisons un nouveau réseau génératif adversarial assisté par la composition (CA-GAN) pour la synthèse photo-croquis du visage. Dans le CA-GAN, nous utilisons des entrées appariées comprenant une photo/croquis de visage et les étiquettes faciales correspondantes au niveau pixel pour générer un croquis/photo. De plus, afin de concentrer l'entraînement sur les composants difficiles à générer et les structures faciales délicates, nous proposons une perte de reconstruction compositionnelle. Enfin, nous utilisons des CA-GANs empilés (SCA-GAN) pour corriger davantage les défauts et ajouter des détails convaincants. Les résultats expérimentaux montrent que notre méthode est capable de générer des croquis/photos de visage à la fois visuellement agréables et préservant l'identité sur une large gamme de données complexes. Notre méthode atteint une qualité d'état de l'art, réduisant considérablement la meilleure distance Fréchet Inception (FID) précédemment obtenue. De plus, nous démontrons que la méthode proposée possède une capacité généralisée notable. Nous avons rendu notre code et nos résultats publiquement disponibles : https://fei-hdu.github.io/ca-gan/.