HyperAIHyperAI

Command Palette

Search for a command to run...

Miroir Magique 3D : Reconstruction de vêtements à partir d'une seule image via une perspective causale

Zhedong Zheng Jiayin Zhu Wei Ji Yi Yang Tat-Seng Chua

Résumé

Cette recherche vise à étudier une méthode d’auto-apprentissage pour la reconstruction 3D de vêtements, capable de restaurer la forme géométrique et la texture des vêtements humains à partir d’une seule image. En comparaison avec les méthodes existantes, nous constatons que trois défis majeurs persistent : (1) les maillages 3D de référence pour les vêtements sont généralement inaccessibles en raison des difficultés d’annotation et des coûts temporels associés ; (2) les méthodes classiques basées sur des modèles-types sont limitées à la modélisation d’objets non rigides, tels que les sacs à main ou les robes, courants dans les images de mode ; (3) l’ambiguïté inhérente compromet l’entraînement du modèle, par exemple le dilemme entre une forme grande avec un appareil photo éloigné ou une forme petite avec un appareil photo proche.Afin de relever ces limitations, nous proposons une méthode d’apprentissage auto-supervisé consciente des relations causales, permettant une reconstruction adaptative d’objets non rigides 3D à partir d’images 2D, sans nécessiter d’étiquetages 3D. Plus précisément, pour résoudre l’ambiguïté intrinsèque liée à quatre variables implicites — position de la caméra, forme, texture et éclairage — nous introduisons une carte causale structurée explicite (SCM) afin de construire notre modèle. La structure proposée suit l’esprit de cette carte causale, en intégrant explicitement le modèle préalable (template) dans l’estimation de la caméra et la prédiction de la forme. Lors de l’optimisation, un outil d’intervention causale — deux boucles d’optimisation-espérance (EM) imbriquées — est profondément intégré à notre algorithme, permettant (1) de déconnecter les quatre encodeurs et (2) de faciliter l’utilisation du modèle préalable. Des expériences étendues sur deux benchmarks de mode 2D (ATR et Market-HQ) montrent que la méthode proposée permet d’obtenir une reconstruction 3D de haute fidélité. En outre, nous validons également la capacité d’évolutivité de notre approche sur un jeu de données fine-grained d’oiseaux, à savoir CUB. Le code est disponible à l’adresse suivante : https://github.com/layumi/3D-Magic-Mirror.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Miroir Magique 3D : Reconstruction de vêtements à partir d'une seule image via une perspective causale | Articles | HyperAI