CloTH-VTON+ : Reconstruction tridimensionnelle des vêtements pour un essai virtuel hybride basé sur des images

Les systèmes de « virtual try-on » basés sur l’image et fondés sur l’apprentissage profond ont suscité un vif intérêt tant académique que commercial. Bien qu’ils excellent dans l’harmonisation entre l’image de la personne et celle des vêtements essayés, ainsi que dans la synthèse des régions partiellement masquées, leurs performances restent souvent insatisfaisantes pour des personnes en postures complexes, en raison des limites de leurs capacités en déformation géométrique et en préservation des textures. Pour relever ces défis, nous proposons CloTH-VTON+, un système permettant une intégration fluide des méthodes d’apprentissage profond basées sur l’image et des avantages des modèles 3D en matière de déformation de forme. Plus précisément, une chaîne de traitement entièrement automatique est conçue pour la reconstruction et la déformation du modèle 3D de vêtement à partir d’un modèle humain de référence à forme simple : tout d’abord, le vêtement à essayer est associé aux régions correspondantes du vêtement sur le modèle humain de référence, puis un modèle 3D du vêtement est reconstruit. Ce modèle 3D reconstruit permet une transformation naturelle de posture et de forme tout en préservant fidèlement les textures du vêtement. Un réseau de raffinement des vêtements affine ensuite l’alignement, éliminant ainsi les erreurs d’alignement dues aux imprécisions de l’estimation de posture humaine et à la déformation 3D. Enfin, les images de vêtements déformés sont combinées à l’aide de réseaux génératifs conditionnels afin de restaurer les zones partiellement masquées et de les intégrer harmonieusement. Des expériences effectuées sur un jeu de données de référence existant démontrent que CloTH-VTON+ produit des résultats de meilleure qualité que les systèmes les plus avancés actuels de VTON, ainsi que que CloTH-VTON. CloTH-VTON+ peut être facilement intégré à des applications étendues telles que le « virtual try-on » guidé par plusieurs postures ou le « video VTON ».