SiTH : Reconstruction de l'humain texturé à partir d'une seule vue avec diffusion conditionnée par l'image

Un objectif de longue date dans le domaine de la reconstruction 3D humaine est de créer des représentations tridimensionnelles de personnes vivantes et entièrement détaillées à partir d'images monovues. Le principal défi réside dans l'inférence des formes corporelles, des apparences et des détails vestimentaires inconnus dans les zones non visibles sur les images. Pour relever ce défi, nous proposons SiTH, un nouveau pipeline qui intègre de manière unique un modèle de diffusion conditionné par une image dans un flux de travail de reconstruction 3D. Au cœur de notre méthode se trouve la décomposition du problème complexe de la reconstruction monovue en sous-problèmes de génération par hallucination et de reconstruction. Pour le premier, nous utilisons un puissant modèle de diffusion génératif pour halluciner l'apparence non visible du dos basée sur les images d'entrée. Pour le second, nous exploitons des maillages corporels texturés comme guide pour récupérer des maillages texturés complets du corps à partir des images d'entrée et du dos. SiTH nécessite seulement 500 scans 3D humains pour son entraînement tout en conservant sa généralité et sa robustesse face à une variété d'images. Des évaluations approfondies sur deux benchmarks humains 3D, dont celui que nous avons créé récemment, ont mis en évidence la supériorité de notre méthode en termes de précision et de qualité perceptuelle dans la reconstruction 3D texturée d'humains. Notre code source et notre benchmark d'évaluation sont disponibles à l'adresse https://ait.ethz.ch/sith