Essai virtuel à pleine échelle avec transformation tri-niveaux récurrente
La tentative virtuelle vise à transférer une image de vêtement cible sur une personne de référence. Bien que des progrès considérables aient été réalisés, le domaine d’application des travaux existants reste limité aux vêtements standards (par exemple, une chemise simple sans détails complexes tels que des lacets ou des effets déchirés), tandis que la grande complexité et la diversité des vêtements non standards (par exemple, chemise à bretelles, robe à épaule découverte) sont largement ignorées. Dans ce travail, nous proposons un cadre rigoureux, appelé Transformée Tri-Niveaux Récursive (RT-VTON), capable de réaliser une tentative virtuelle complète, tant pour les vêtements standards que non standards. Deux observations clés ont guidé la conception de ce cadre : 1) Le transfert sémantique nécessite une transformation progressive des caractéristiques sur trois niveaux distincts de représentation des vêtements : le code vêtement, le code posture et le code d’analyse sémantique (parsing). 2) Le transfert géométrique exige une déformation d’image régularisée, équilibrant rigidité et flexibilité. Premièrement, nous prédisons la sémantique de la personne « après tentative » en affinant de manière récursive les codes de caractéristiques tri-niveaux à l’aide d’un mécanisme d’attention locale à portes et d’un apprentissage de correspondance non locale. Ensuite, nous concevons une déformation semi-rigide pour aligner l’image du vêtement avec les sémantiques prédites, tout en préservant la similarité locale des déformations. Enfin, un synthétiseur de tentative canonique fusionne toutes les informations traitées afin de générer l’image de la personne vêtue. Des expérimentations étendues sur des benchmarks classiques, accompagnées d’études utilisateurs, démontrent que notre cadre atteint des performances de pointe, tant sur le plan quantitatif que qualitatif. Notamment, RT-VTON obtient des résultats remarquables sur une large gamme de vêtements non standards.