Hochauflösendes virtuelles Anprobieren unter Bedingungen mit Fehlausrichtung und Verdeckung

Bildbasierte virtuelle Probierprozesse zielen darauf ab, ein Bild einer Person zu synthetisieren, die ein bestimmtes Kleidungsstück trägt. Um diese Aufgabe zu lösen, deformieren die bestehenden Methoden das Kleidungsstück, um es an den Körper der Person anzupassen, und generieren vor der Fusion des Kleidungsstücks mit der Person eine Segmentierungskarte der Person im Kleidungsstück. Allerdings tritt bei unabhängiger Durchführung der Deformations- und Segmentierungsgenerierungsstufen ohne Informationsaustausch eine Fehlausrichtung zwischen dem deformierten Kleidungsstück und der Segmentierungskarte auf, was zu Artefakten im endgültigen Bild führt. Die Informationsunterbrechung verursacht zudem übermäßige Deformationen in den Bereichen des Kleidungsstücks, die durch Körperteile verdeckt sind – sogenannte Pixel-Squeeze-Artefakte. Um diese Probleme zu lösen, schlagen wir einen neuartigen Versuchskonditions-Generator vor, der als einheitliches Modul sowohl der Deformations- als auch der Segmentierungsgenerierungsstufe dient. Ein neu entwickelter Feature-Fusionsblock innerhalb des Konditions-Generators ermöglicht den Informationsaustausch zwischen den beiden Stufen, wodurch weder Fehlausrichtungen noch Pixel-Squeeze-Artefakte entstehen. Außerdem führen wir eine Diskriminator-Ablehnung ein, die falsche Segmentierungsvorhersagen filtert und die Leistung virtueller Probierframeworks sicherstellt. Experimente auf einem hochauflösenden Datensatz zeigen, dass unser Modell die Fehlausrichtung und Verdeckung effektiv bewältigt und die Baseline-Methoden erheblich übertrifft. Der Quellcode ist unter https://github.com/sangyun884/HR-VITON verfügbar.