Command Palette
Search for a command to run...
Entkoppelte Generierung von Personenbildern
Entkoppelte Generierung von Personenbildern
Zusammenfassung
Die Generierung neuer, dennoch realistischer Bilder von Personen ist aufgrund der komplexen Wechselwirkungen zwischen den verschiedenen Bildfaktoren – wie Vordergrund, Hintergrund und Pose – eine anspruchsvolle Aufgabe. In dieser Arbeit zielen wir darauf ab, solche Bilder basierend auf einem neuartigen zweistufigen Rekonstruktionsansatz zu erzeugen, der eine entkoppelte Darstellung der genannten Bildfaktoren lernt und gleichzeitig neue Personbilder generiert. Zunächst wird ein mehrfach verzweigtes Rekonstruktionsnetzwerk vorgeschlagen, das die drei Faktoren entkoppelt und in Embedding-Features kodiert, die anschließend kombiniert werden, um das ursprüngliche Eingabebild wiederherzustellen. Im zweiten Schritt werden jeweils drei entsprechende Abbildungsfunktionen adversarisch gelernt, um jeweils Gaußschen Rauschwert auf den gelernten Embedding-Feature-Raum für jeden Faktor abzubilden. Mit dem vorgeschlagenen Framework können wir den Vordergrund, den Hintergrund und die Pose des Eingabebildes manipulieren sowie neue Embedding-Features sampling, um gezielte Manipulationen zu erzeugen, wodurch eine größere Kontrolle über den Generierungsprozess ermöglicht wird. Experimente auf den Datensätzen Market-1501 und Deepfashion zeigen, dass unser Modell nicht nur realistische Personbilder mit neuen Vordergründen, Hintergründen und Posen generiert, sondern auch die generierten Faktoren manipuliert und Zwischenzustände interpoliert. Eine weitere Experimentierreihe auf Market-1501 belegt zudem, dass unser Modell auch für die Aufgabe der Personen-Identifikation (person re-identification) von Nutzen sein kann.