Essai virtuel à haute résolution dans des conditions de mauvais alignement et d'occlusion

La tentative virtuelle basée sur l’image vise à synthétiser une image d’une personne portant un article de vêtement donné. Pour résoudre cette tâche, les méthodes existantes déforment d’abord l’article de vêtement afin qu’il s’ajuste au corps de la personne, puis génèrent la carte de segmentation de la personne portant cet article avant de fusionner le vêtement avec le corps. Toutefois, lorsque les étapes de déformation et de génération de segmentation opèrent de manière indépendante, sans échange d’informations, une mauvaise correspondance entre les vêtements déformés et la carte de segmentation apparaît, entraînant des artefacts dans l’image finale. Ce manque d’échange d’informations provoque également une déformation excessive dans les régions des vêtements masquées par les parties du corps, phénomène connu sous le nom d’artefacts de « compression de pixels ». Pour résoudre ces problèmes, nous proposons un nouveau générateur de conditions pour la tentative virtuelle, conçu comme un module unifié des deux étapes (déformation et génération de segmentation). Un nouveau bloc de fusion de caractéristiques intégré dans ce générateur permet un échange d’informations efficace, garantissant ainsi l’absence de mauvaise correspondance ou d’artefacts de compression de pixels. Nous introduisons également une méthode de rejet par discriminateur, qui filtre les prédictions incorrectes de cartes de segmentation et assure la performance des cadres de tentative virtuelle. Des expériences menées sur un jeu de données à haute résolution démontrent que notre modèle parvient efficacement à gérer les problèmes de mauvaise correspondance et d’occlusion, et surpasse significativement les méthodes de référence. Le code est disponible à l’adresse suivante : https://github.com/sangyun884/HR-VITON.