Extraction de croquis de visages stylisés via un a priori génératif avec des données limitées

Les croquis faciaux constituent à la fois un moyen concis de représenter l'identité d'une personne et une façon d'exprimer une intention artistique. Bien que quelques techniques aient récemment émergé permettant d'extraire des croquis dans différents styles, elles reposent généralement sur une grande quantité de données difficiles à obtenir. Dans cet article, nous proposons StyleSketch, une méthode pour extraire des croquis stylisés en haute résolution à partir d'une image faciale. En utilisant les riches sémantiques des caractéristiques profondes issues d'un StyleGAN pré-entraîné, nous sommes capables de former un générateur de croquis avec seulement 16 paires d'images faciales et de leurs croquis correspondants. Le générateur de croquis utilise des pertes basées sur les parties avec un apprentissage en deux étapes pour une convergence rapide lors de l'entraînement, garantissant ainsi l'extraction de croquis de haute qualité. À travers une série de comparaisons, nous montrons que StyleSketch surpasses les méthodes existantes les plus avancées pour l'extraction de croquis et les méthodes d'adaptation d'image par apprentissage supervisé faiblement (few-shot) dans la tâche d'extraction de croquis faciaux abstraits en haute résolution. Nous démontrons également la polyvalence de StyleSketch en l'étendant à d'autres domaines et en explorant la possibilité d'édition sémantique. La page du projet est disponible à l'adresse suivante : https://kwanyun.github.io/stylesketch_project.