Vollständige virtuelle Anprobe mit rekurrentem dreistufigem Transformationsansatz

Virtual Try-On zielt darauf ab, ein Zielkleidungsstück auf eine Referenzperson zu übertragen. Obwohl erhebliche Fortschritte erzielt wurden, bleibt der funktionale Anwendungsbereich bestehender Ansätze weiterhin auf Standardkleidung beschränkt (z. B. einfache Hemden ohne komplexe Details wie Schnürungen oder zerrissene Effekte), während die enorme Komplexität und Vielfalt nicht-standardisierter Kleidungsstücke (z. B. schulterfreie Hemden, Wort-Shoulder-Kleider) weitgehend vernachlässigt werden. In dieser Arbeit präsentieren wir einen prinzipienbasierten Rahmen, den Recurrent Tri-Level Transform (RT-VTON), der eine umfassende Virtual Try-On-Übertragung sowohl für Standard- als auch für nicht-standardisierte Kleidungsstücke ermöglicht. Wir beruhen bei der Rahmenwerksgestaltung auf zwei zentralen Erkenntnissen: 1) Die Übertragung semantischer Inhalte erfordert eine schrittweise Transformation von Merkmalen auf drei unterschiedlichen Ebenen der Kleidungsrepräsentation, nämlich Kleidungscode, Pose-Code und Parsing-Code. 2) Die Übertragung geometrischer Strukturen erfordert eine regularisierte Bildverformung zwischen Starrheit und Flexibilität. Zunächst schätzen wir die Semantik der „nach dem Anprobieren“ entstandenen Person durch rekursive Verfeinerung der dreistufigen Merkmalscodes mittels lokaler gated Attention und nicht-lokaler Korrespondenzlernverfahren vorher. Anschließend entwerfen wir eine semi-starr deformierbare Methode, um das Kleidungsstück und die vorhergesagten Semantiken zu alignieren, wobei die lokale Verzerrungssimilarität erhalten bleibt. Schließlich integriert ein kanonischer Try-On-Synthesizer sämtliche verarbeiteten Informationen, um das endgültige Bild der bekleideten Person zu generieren. Umfangreiche Experimente an etablierten Benchmarks sowie Nutzerstudien belegen, dass unser Ansatz sowohl quantitativ als auch qualitativ Spitzenleistungen erzielt. Besonders hervorzuheben ist, dass RT-VTON überzeugende Ergebnisse für eine breite Palette nicht-standardisierter Kleidungsstücke erzielt.