Command Palette
Search for a command to run...
Synthèse de croquis faciale de haute qualité à l’aide de réseaux antagonistes multiplés
Synthèse de croquis faciale de haute qualité à l’aide de réseaux antagonistes multiplés
Wang Lidan Sindagi Vishwanath A. Patel Vishal M.
Résumé
La synthèse de croquis de visages à partir de photos réelles, ainsi que son inverse, présente de nombreuses applications. Toutefois, la synthèse photo/croquis reste un problème difficile en raison des différences fondamentales entre les caractéristiques des photos et celles des croquis. Dans ce travail, nous abordons cette tâche comme un problème de traduction d’image à image et explorons les modèles génératifs récemment très populaires (GANs) afin de générer des photos réalistes de haute qualité à partir de croquis, ainsi que des croquis à partir de photos. Les méthodes basées sur les GANs ont récemment montré des résultats prometteurs sur les problèmes de traduction d’image, en particulier pour la synthèse photo → croquis, mais elles sont connues pour leurs capacités limitées à générer des images réalistes de haute résolution. A cet effet, nous proposons un nouveau cadre de synthèse, appelé Photo-Sketch Synthesis using Multi-Adversarial Networks (PS²-MAN), qui génère itérativement des images de basse à haute résolution de manière adversaire. Les couches cachées du générateur sont supervisées pour produire d’abord des images de faible résolution, puis une réduction implicite des détails dans le réseau permet d’obtenir des images de haute résolution. En outre, puisque la synthèse photo-croquis constitue un problème de traduction couplée/paire, nous exploitons l’information de paire à l’aide du cadre CycleGAN. Des évaluations de qualité d’image (IQA) ainsi que des expériences de correspondance photo-croquis ont été menées pour démontrer l’efficacité supérieure de notre cadre par rapport aux solutions de pointe existantes. Le code est disponible à l’adresse suivante : https://github.com/lidan1/PhotoSketchMAN.