HyperAIHyperAI

Command Palette

Search for a command to run...

CloTH-VTON+ : Reconstruction tridimensionnelle des vêtements pour un essai virtuel hybride basé sur des images

Heejune Ahn Thai Thanh Tuan Matiur Rahman Minar

Résumé

Les systèmes de « virtual try-on » basés sur l’image et fondés sur l’apprentissage profond ont suscité un vif intérêt tant académique que commercial. Bien qu’ils excellent dans l’harmonisation entre l’image de la personne et celle des vêtements essayés, ainsi que dans la synthèse des régions partiellement masquées, leurs performances restent souvent insatisfaisantes pour des personnes en postures complexes, en raison des limites de leurs capacités en déformation géométrique et en préservation des textures. Pour relever ces défis, nous proposons CloTH-VTON+, un système permettant une intégration fluide des méthodes d’apprentissage profond basées sur l’image et des avantages des modèles 3D en matière de déformation de forme. Plus précisément, une chaîne de traitement entièrement automatique est conçue pour la reconstruction et la déformation du modèle 3D de vêtement à partir d’un modèle humain de référence à forme simple : tout d’abord, le vêtement à essayer est associé aux régions correspondantes du vêtement sur le modèle humain de référence, puis un modèle 3D du vêtement est reconstruit. Ce modèle 3D reconstruit permet une transformation naturelle de posture et de forme tout en préservant fidèlement les textures du vêtement. Un réseau de raffinement des vêtements affine ensuite l’alignement, éliminant ainsi les erreurs d’alignement dues aux imprécisions de l’estimation de posture humaine et à la déformation 3D. Enfin, les images de vêtements déformés sont combinées à l’aide de réseaux génératifs conditionnels afin de restaurer les zones partiellement masquées et de les intégrer harmonieusement. Des expériences effectuées sur un jeu de données de référence existant démontrent que CloTH-VTON+ produit des résultats de meilleure qualité que les systèmes les plus avancés actuels de VTON, ainsi que que CloTH-VTON. CloTH-VTON+ peut être facilement intégré à des applications étendues telles que le « virtual try-on » guidé par plusieurs postures ou le « video VTON ».


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp