SwapNet: Kleidungstransfer in Einzelansichtsbildern

Wir stellen SwapNet vor, einen Rahmen zur Übertragung von Bekleidungsstücken zwischen Bildern von Personen mit beliebiger Körperhaltung, Körperform und Kleidung. Die Übertragung von Bekleidung ist eine anspruchsvolle Aufgabe, die (i) die Entkoppelung der Merkmale der Kleidung von Körperhaltung und Körperform sowie (ii) die realistische Synthese der Bekleidungstextur auf dem neuen Körper erfordert. Wir präsentieren eine neuronale Netzwerkarchitektur, die diese Teilprobleme mit zwei auf spezifische Aufgaben zugeschnittenen Subnetzen löst. Da die Beschaffung von Bilddatensätzen, die dasselbe Kleidungsstück auf verschiedenen Körpern zeigen, schwierig ist, schlagen wir einen neuartigen schwach überwachten Ansatz vor, der Trainingspaare aus einem einzigen Bild durch Datenaugmentation generiert. Wir stellen die erste vollautomatische Methode zur Bekleidungsovertragung in unbeschränkten Bildern vor, ohne das schwierige Problem der 3D-Rekonstruktion lösen zu müssen. Wir demonstrieren eine Vielzahl von Übertragungsergebnissen und betonen unsere Vorteile gegenüber traditionellen Bild-zu-Bild- und Analogie-Pipelines.