Stylisierte Gesichtsskizzenextraction durch generatives Prior bei begrenzten Daten

Gesichtsskizzen sind sowohl eine prägnante Art, die Identität einer Person darzustellen, als auch ein Mittel zur Ausdrucksweise künstlerischer Absichten. Obwohl in letzter Zeit einige Techniken entwickelt wurden, die es ermöglichen, Skizzen in verschiedenen Stilen zu extrahieren, basieren diese in der Regel auf einer großen Menge an Daten, die schwierig zu beschaffen sind. In diesem Beitrag stellen wir StyleSketch vor, eine Methode zur Extraktion hochaufgelöster stilisierter Gesichtsskizzen aus einem Gesichtsbild. Indem wir die reichen Semantiken der tiefen Merkmale eines vortrainierten StyleGAN nutzen, können wir einen Skizzengenerator mit nur 16 Paaren von Gesichtern und den entsprechenden Skizzenbildern trainieren. Der Skizzengenerator verwendet teilspezifische Verlustfunktionen (part-based losses) in einem zweistufigen Lernprozess, um während des Trainings schnell zu konvergieren und hochwertige Skizzen zu extrahieren. Durch eine Reihe von Vergleichen zeigen wir, dass StyleSketch bestehende state-of-the-art-Methoden zur Skizzensextraktion und Few-Shot-Bildanpassungsmethoden bei der Aufgabe der Extraktion hochaufgelöster abstrakter Gesichtsskizzen übertrifft. Wir demonstrieren zudem die Vielseitigkeit von StyleSketch durch seine Erweiterung auf andere Bereiche und untersuchen die Möglichkeit semantischer Bearbeitung. Die Projektseite kann unter folgender URL gefunden werden: https://kwanyun.github.io/stylesketch_project.