HyperAIHyperAI

Command Palette

Search for a command to run...

SiTH : Reconstruction de l'humain texturé à partir d'une seule vue avec diffusion conditionnée par l'image

Hsuan-I Ho Jie Song Otmar Hilliges

Résumé

Un objectif de longue date dans le domaine de la reconstruction 3D humaine est de créer des représentations tridimensionnelles de personnes vivantes et entièrement détaillées à partir d'images monovues. Le principal défi réside dans l'inférence des formes corporelles, des apparences et des détails vestimentaires inconnus dans les zones non visibles sur les images. Pour relever ce défi, nous proposons SiTH, un nouveau pipeline qui intègre de manière unique un modèle de diffusion conditionné par une image dans un flux de travail de reconstruction 3D. Au cœur de notre méthode se trouve la décomposition du problème complexe de la reconstruction monovue en sous-problèmes de génération par hallucination et de reconstruction. Pour le premier, nous utilisons un puissant modèle de diffusion génératif pour halluciner l'apparence non visible du dos basée sur les images d'entrée. Pour le second, nous exploitons des maillages corporels texturés comme guide pour récupérer des maillages texturés complets du corps à partir des images d'entrée et du dos. SiTH nécessite seulement 500 scans 3D humains pour son entraînement tout en conservant sa généralité et sa robustesse face à une variété d'images. Des évaluations approfondies sur deux benchmarks humains 3D, dont celui que nous avons créé récemment, ont mis en évidence la supériorité de notre méthode en termes de précision et de qualité perceptuelle dans la reconstruction 3D texturée d'humains. Notre code source et notre benchmark d'évaluation sont disponibles à l'adresse https://ait.ethz.ch/sith


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp