Command Palette
Search for a command to run...
Style-basierte globale Erscheinungsfluss-Methode für virtuelles Anprobieren
Style-basierte globale Erscheinungsfluss-Methode für virtuelles Anprobieren
Sen He Yi-Zhe Song Tao Xiang
Zusammenfassung
Die bildbasierte virtuelle Probier-Technik zielt darauf ab, ein im Geschäft aufgenommenes Kleidungsstück in ein Bild einer bereits bekleideten Person einzufügen. Dazu ist ein entscheidender Schritt die Kleidungsstückverzerrung (garment warping), die räumlich die Ausrichtung des Zielkleidungsstücks mit den entsprechenden Körperteilen im Personenbild herstellt. Vorangegangene Methoden nutzen typischerweise ein Modell zur lokalen Erscheinungsbewegungsabschätzung (local appearance flow estimation), das intrinsisch anfällig für schwierige Körperhaltungen, Verdeckungen und große Missalignments zwischen Personen- und Kleidungsstückbildern ist (siehe Abb.\ref{fig:fig1}). Um diesen Einschränkungen zu begegnen, wird in dieser Arbeit ein neuartiges Modell zur globalen Erscheinungsbewegungsabschätzung vorgestellt. Erstmals wird eine StyleGAN-basierte Architektur für die Abschätzung von Erscheinungsbewegungen eingesetzt. Dadurch können wir einen globalen Stilvektor nutzen, um den Gesamtinhalt eines Bildes zu kodieren und so den oben genannten Herausforderungen besser begegnen zu können. Um den StyleGAN-Flow-Generator dazu zu führen, stärker auf lokale Verformungen des Kleidungsstücks zu achten, wird ein Flow-Refinement-Modul eingeführt, das lokale Kontextinformationen hinzufügt. Experimentelle Ergebnisse auf einem gängigen Benchmark für virtuelles Probieren zeigen, dass unsere Methode eine neue State-of-the-Art-Leistung erzielt. Besonders effektiv ist sie in einer „in-the-wild“-Anwendungssituation, bei der das Referenzbild eine vollständige Körperansicht darstellt und somit ein großes Missalignments mit dem Kleidungsstückbild verursacht (Abb.\ref{fig:fig1}, oben). Der Quellcode ist unter \url{https://github.com/SenHe/Flow-Style-VTON} verfügbar.