HyperAIHyperAI

Command Palette

Search for a command to run...

Style-basierte globale Erscheinungsfluss-Methode für virtuelles Anprobieren

Sen He Yi-Zhe Song Tao Xiang

Zusammenfassung

Die bildbasierte virtuelle Probier-Technik zielt darauf ab, ein im Geschäft aufgenommenes Kleidungsstück in ein Bild einer bereits bekleideten Person einzufügen. Dazu ist ein entscheidender Schritt die Kleidungsstückverzerrung (garment warping), die räumlich die Ausrichtung des Zielkleidungsstücks mit den entsprechenden Körperteilen im Personenbild herstellt. Vorangegangene Methoden nutzen typischerweise ein Modell zur lokalen Erscheinungsbewegungsabschätzung (local appearance flow estimation), das intrinsisch anfällig für schwierige Körperhaltungen, Verdeckungen und große Missalignments zwischen Personen- und Kleidungsstückbildern ist (siehe Abb.\ref{fig:fig1}). Um diesen Einschränkungen zu begegnen, wird in dieser Arbeit ein neuartiges Modell zur globalen Erscheinungsbewegungsabschätzung vorgestellt. Erstmals wird eine StyleGAN-basierte Architektur für die Abschätzung von Erscheinungsbewegungen eingesetzt. Dadurch können wir einen globalen Stilvektor nutzen, um den Gesamtinhalt eines Bildes zu kodieren und so den oben genannten Herausforderungen besser begegnen zu können. Um den StyleGAN-Flow-Generator dazu zu führen, stärker auf lokale Verformungen des Kleidungsstücks zu achten, wird ein Flow-Refinement-Modul eingeführt, das lokale Kontextinformationen hinzufügt. Experimentelle Ergebnisse auf einem gängigen Benchmark für virtuelles Probieren zeigen, dass unsere Methode eine neue State-of-the-Art-Leistung erzielt. Besonders effektiv ist sie in einer „in-the-wild“-Anwendungssituation, bei der das Referenzbild eine vollständige Körperansicht darstellt und somit ein großes Missalignments mit dem Kleidungsstückbild verursacht (Abb.\ref{fig:fig1}, oben). Der Quellcode ist unter \url{https://github.com/SenHe/Flow-Style-VTON} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp