Entwirrte Personenbild-Generierung

Die Erstellung neuer, aber realistischer Personendarstellungen ist eine herausfordernde Aufgabe aufgrund der komplexen Wechselwirkung zwischen verschiedenen Bildfaktoren wie Vordergrund, Hintergrund und Poseinformationen. In dieser Arbeit zielen wir darauf ab, solche Bilder mit einem neuartigen, zweistufigen Rekonstruktionspipeline zu generieren, die eine entkoppelte Darstellung der genannten Bildfaktoren lernt und gleichzeitig neue Personendarstellungen erzeugt. Zunächst wird ein mehrverzweigtes Rekonstruktionsnetzwerk vorgeschlagen, um die drei Faktoren in Einbettungsmerkmale zu entkoppeln und zu kodieren, die dann kombiniert werden, um das Eingangsbild selbst wiederherzustellen. Anschließend werden drei entsprechende Abbildungsfunktionen in einem adversären Verfahren gelernt, um Gaußsches Rauschen in den gelernten Einbettungsmerkmalsraum abzubilden, jeweils für jeden Faktor. Mit dem vorgeschlagenen Framework können wir den Vordergrund, Hintergrund und die Pose des Eingangsbildes manipulieren und auch neue Einbettungsmerkmale sampeln, um solche gezielten Manipulationen durchzuführen, die mehr Kontrolle über den Generierungsprozess bieten. Experimente mit den Datensätzen Market-1501 und DeepFashion zeigen, dass unser Modell nicht nur realistische Personendarstellungen mit neuen Vordergründen, Hintergründen und Posen generiert, sondern auch die generierten Faktoren manipuliert und die dazwischenliegenden Zustände interpoliert. Eine weitere Reihe von Experimenten mit Market-1501 zeigt außerdem, dass unser Modell für die Personen-Wiedererkennungsaufgabe (person re-identification task) nützlich sein kann.