Essai virtuel à étape unique via des flux d'attention déformables

La tentative virtuelle vise à générer un résultat réaliste en termes de photographie à partir d’un vêtement en magasin et d’une image de référence d’une personne. Les méthodes existantes construisent généralement des cadres à plusieurs étapes pour traiter séparément le froissage des vêtements et le mélange du corps, ou dépendent fortement d’étiquettes intermédiaires basées sur des parseurs, qui peuvent être bruyantes voire inexactes. Pour relever ces défis, nous proposons un cadre à une seule étape en développant un nouveau mécanisme appelé Deformable Attention Flow (DAFlow), qui applique le schéma d’attention déformable à l’estimation multi-flux. Guidés uniquement par des points de posture (pose keypoints), les flux d’attention déformables auto et croisés sont estimés respectivement pour l’image de la personne de référence et celle du vêtement. En échantillonnant plusieurs champs de flux, les informations au niveau des caractéristiques et au niveau des pixels provenant de différentes régions sémantiques sont simultanément extraites et fusionnées grâce au mécanisme d’attention. Cela permet de réaliser à la fois le froissage des vêtements et la synthèse du corps de manière end-to-end, conduisant à des résultats photo-réalistes. Des expériences étendues sur deux jeux de données de tentative virtuelle démontrent que notre méthode atteint des performances de pointe, tant du point de vue qualitatif que quantitatif. En outre, des expériences supplémentaires sur deux autres tâches de traitement d’image illustrent la polyvalence de notre approche pour la synthèse multi-vue et l’animation d’images.