CloTH-VTON+: Kleidungsdreidimensionale Rekonstruktion für hybride bildbasierte virtuelle Anprobung

Bildbasierte virtuelle Probier-Systeme (VTON) auf der Grundlage tiefer Lernverfahren haben sowohl wissenschaftliches als auch kommerzielles Interesse geweckt. Obwohl sie ihre Stärken in der nahtlosen Integration von Person und Probekleidung sowie in der Synthese verdeckter Bereiche zeigen, erzielen sie oft unzureichende Ergebnisse bei Personen in komplexen Haltungen, bedingt durch die begrenzte Fähigkeit zur geometrischen Verformung und Texturerhaltung. Um diese Herausforderungen zu bewältigen, stellen wir CloTH-VTON+ vor, ein Ansatz, der bildbasierte tiefen Lernmethoden nahtlos mit der Stärke von 3D-Modellen bei der Formverformung verbindet. Konkret wird ein vollautomatisierter Prozess zur Rekonstruktion und Verformung von 3D-Kleidungsmodellen unter Verwendung eines Referenzmenschenmodells entwickelt: Zunächst wird die Probekleidung den Zielkleidungsbereichen im einfach geformten Referenzmenschenmodell zugeordnet, woraufhin das 3D-Kleidungsmodell rekonstruiert wird. Das rekonstruierte 3D-Kleidungsmodell ermöglicht eine äußerst natürliche Übertragung von Pose und Form unter gleichzeitiger Erhaltung der Kleidungstexturen. Ein nachgeschalteter Kleidungsverfeinerungsnetzwerk korrigiert zudem die Ausrichtung und beseitigt Missalignments, die auf Fehlern bei der Pose-Schätzung oder der 3D-Verformung zurückzuführen sind. Die verformten Kleidungsbilder werden schließlich mithilfe bedingter generativer Netzwerke kombiniert, um die verdeckten Bereiche zu rekonstruieren und eine nahtlose Integration aller Elemente zu gewährleisten. Experimente auf einer etablierten Benchmark-Datenbank zeigen, dass CloTH-VTON+ im Vergleich zu aktuellen Spitzen-Methoden im Bereich VTON sowie zu CloTH-VTON qualitativ hochwertigere Ergebnisse liefert. CloTH-VTON+ lässt sich zudem in erweiterte Anwendungen wie multi-Pose-gesteuerte und Video-basierte VTON integrieren.