SIFU : Fonction implicite conditionnée par la vue latérale pour la reconstruction de personnes habillées dans le monde réel

La création de modèles 3D de haute qualité d'humains vêtus à partir d'images uniques est cruciale pour les applications dans le monde réel. Malgré les progrès récents, la reconstruction précise des humains en poses complexes ou avec des vêtements amples à partir d'images prises dans des conditions naturelles, ainsi que la prédiction des textures pour les zones non visibles, reste un défi majeur. Une limitation clé des méthodes précédentes est leur guidage préalable insuffisant lors du passage du 2D au 3D et dans la prédiction des textures. Pour y répondre, nous présentons SIFU (Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction), une nouvelle approche combinant un Transformer de Découplage Latéral avec un pipeline de Raffinement de Textures Consistantes en 3D.SIFU utilise un mécanisme d'attention croisée au sein du transformer, en utilisant les normales SMPL-X comme requêtes pour décomposer efficacement les caractéristiques latérales lors de la transformation des caractéristiques 2D en 3D. Cette méthode améliore non seulement la précision des modèles 3D mais aussi leur robustesse, notamment lorsque les estimations SMPL-X ne sont pas parfaites. Notre processus de raffinement des textures s'appuie sur un modèle diffusif basé sur la génération d'images à partir de texte pour produire des textures réalistes et cohérentes pour les vues invisibles.Grâce à une série d'expériences exhaustives, SIFU dépasse les méthodes SOTA (State-of-the-Art) tant en reconstruction géométrique qu'en reconstruction texturale, montrant une robustesse accrue dans des scénarios complexes et atteignant une mesure Chamfer et P2S sans précédent. Notre approche s'étend aux applications pratiques telles que l'impression 3D et la construction de scènes, démontrant son utilité étendue dans des situations réelles.Page du projet : https://river-zhang.github.io/SIFU-projectpage/ .