HyperAIHyperAI

Command Palette

Search for a command to run...

SIFU : Fonction implicite conditionnée par la vue latérale pour la reconstruction de personnes habillées dans le monde réel

Zhang Zechuan ; Yang Zongxin ; Yang Yi

Résumé

La création de modèles 3D de haute qualité d'humains vêtus à partir d'images uniques est cruciale pour les applications dans le monde réel. Malgré les progrès récents, la reconstruction précise des humains en poses complexes ou avec des vêtements amples à partir d'images prises dans des conditions naturelles, ainsi que la prédiction des textures pour les zones non visibles, reste un défi majeur. Une limitation clé des méthodes précédentes est leur guidage préalable insuffisant lors du passage du 2D au 3D et dans la prédiction des textures. Pour y répondre, nous présentons SIFU (Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction), une nouvelle approche combinant un Transformer de Découplage Latéral avec un pipeline de Raffinement de Textures Consistantes en 3D.SIFU utilise un mécanisme d'attention croisée au sein du transformer, en utilisant les normales SMPL-X comme requêtes pour décomposer efficacement les caractéristiques latérales lors de la transformation des caractéristiques 2D en 3D. Cette méthode améliore non seulement la précision des modèles 3D mais aussi leur robustesse, notamment lorsque les estimations SMPL-X ne sont pas parfaites. Notre processus de raffinement des textures s'appuie sur un modèle diffusif basé sur la génération d'images à partir de texte pour produire des textures réalistes et cohérentes pour les vues invisibles.Grâce à une série d'expériences exhaustives, SIFU dépasse les méthodes SOTA (State-of-the-Art) tant en reconstruction géométrique qu'en reconstruction texturale, montrant une robustesse accrue dans des scénarios complexes et atteignant une mesure Chamfer et P2S sans précédent. Notre approche s'étend aux applications pratiques telles que l'impression 3D et la construction de scènes, démontrant son utilité étendue dans des situations réelles.Page du projet : https://river-zhang.github.io/SIFU-projectpage/ .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp