Halbüberwachtes Lernen für die Synthese von Gesichtsskizzen im Freien

Die Face-Sketch-Synthese hat in den letzten Jahren große Fortschritte gemacht. Neuere Methoden, die auf tiefen neuronalen Netzen basieren, sind in der Lage, aus Gesichtsfotos hochwertige Skizzen zu generieren. Allerdings können aufgrund des Mangels an Trainingsdaten (Foto-Skizzen-Paaren) keine dieser tiefe-Lernmethoden erfolgreich auf Fotos von Gesichtern im freien Feld angewendet werden. In diesem Artikel schlagen wir eine semi-überwachte Architektur des tiefen Lernens vor, die die Face-Sketch-Synthese durch die Nutzung zusätzlicher Gesichtsfotos in der Trainingsphase erweitert und so auch Fotos von Gesichtern im freien Feld verarbeitet. Anstatt das Netzwerk mit Ground-Truth-Skizzen zu überwachen, führen wir zunächst ein Patch-Matching im Merkmalsraum zwischen dem Eingangsfoto und Fotos in einem kleinen Referenzset von Foto-Skizzen-Paaren durch. Wir erstellen dann eine pseudoskizzierte Merkmalsrepräsentation unter Verwendung der entsprechenden Skizzierungsmerkmalspatches, um unser Netzwerk zu überwachen. Mit dem vorgeschlagenen Ansatz können wir unsere Netzwerke mit einem kleinen Referenzset von Foto-Skizzen-Paaren sowie einer großen Datenmenge von Gesichtsfotos ohne Ground-Truth-Skizzen trainieren. Experimente zeigen, dass unsere Methode sowohl bei öffentlichen Benchmarks als auch bei Fotos von Gesichtern im freien Feld den Stand der Technik erreicht. Der Quellcode ist unter https://github.com/chaofengc/Face-Sketch-Wild verfügbar.