Apprentissage semi-supervisé pour la synthèse de croquis faciaux dans des conditions réelles

La synthèse de croquis faciaux a connu des progrès considérables ces dernières années. Les méthodes récentes basées sur les réseaux neuronaux profonds sont capables de générer des croquis de haute qualité à partir de photographies de visages. Cependant, en raison du manque de données d'entraînement (paires photo-croquis), aucune de ces méthodes basées sur l'apprentissage profond ne peut être appliquée avec succès aux photographies de visages dans des conditions réelles. Dans cet article, nous proposons une architecture d'apprentissage profond semi-supervisée qui étend la synthèse de croquis faciaux pour gérer les photographies de visages dans des conditions réelles en exploitant des photographies faciales supplémentaires lors de l'entraînement. Au lieu de superviser le réseau avec des croquis vérités-terrain, nous effectuons d'abord un appariement par patchs dans l'espace des caractéristiques entre la photo d'entrée et les photos d'un petit ensemble de référence composé de paires photo-croquis. Nous composons ensuite une représentation pseudo-caractéristique de croquis à l'aide des patchs caractéristiques correspondants pour superviser notre réseau. Avec cette approche proposée, nous pouvons entraîner nos réseaux en utilisant un petit ensemble de référence composé de paires photo-croquis ainsi qu'un grand ensemble de données contenant des photographies faciales sans vérités-terrain. Les expériences montrent que notre méthode atteint des performances à l'état de l'art tant sur les bancs d'essai publics que sur les photographies de visages dans des conditions réelles. Le code source est disponible à l'adresse suivante : https://github.com/chaofengc/Face-Sketch-Wild.