Miroir Magique 3D : Reconstruction de vêtements à partir d'une seule image via une perspective causale

Cette recherche vise à étudier une méthode d’auto-apprentissage pour la reconstruction 3D de vêtements, capable de restaurer la forme géométrique et la texture des vêtements humains à partir d’une seule image. En comparaison avec les méthodes existantes, nous constatons que trois défis majeurs persistent : (1) les maillages 3D de référence pour les vêtements sont généralement inaccessibles en raison des difficultés d’annotation et des coûts temporels associés ; (2) les méthodes classiques basées sur des modèles-types sont limitées à la modélisation d’objets non rigides, tels que les sacs à main ou les robes, courants dans les images de mode ; (3) l’ambiguïté inhérente compromet l’entraînement du modèle, par exemple le dilemme entre une forme grande avec un appareil photo éloigné ou une forme petite avec un appareil photo proche.Afin de relever ces limitations, nous proposons une méthode d’apprentissage auto-supervisé consciente des relations causales, permettant une reconstruction adaptative d’objets non rigides 3D à partir d’images 2D, sans nécessiter d’étiquetages 3D. Plus précisément, pour résoudre l’ambiguïté intrinsèque liée à quatre variables implicites — position de la caméra, forme, texture et éclairage — nous introduisons une carte causale structurée explicite (SCM) afin de construire notre modèle. La structure proposée suit l’esprit de cette carte causale, en intégrant explicitement le modèle préalable (template) dans l’estimation de la caméra et la prédiction de la forme. Lors de l’optimisation, un outil d’intervention causale — deux boucles d’optimisation-espérance (EM) imbriquées — est profondément intégré à notre algorithme, permettant (1) de déconnecter les quatre encodeurs et (2) de faciliter l’utilisation du modèle préalable. Des expériences étendues sur deux benchmarks de mode 2D (ATR et Market-HQ) montrent que la méthode proposée permet d’obtenir une reconstruction 3D de haute fidélité. En outre, nous validons également la capacité d’évolutivité de notre approche sur un jeu de données fine-grained d’oiseaux, à savoir CUB. Le code est disponible à l’adresse suivante : https://github.com/layumi/3D-Magic-Mirror.