HyperAIHyperAI
il y a 2 mois

Unique3D : Génération de Maillages 3D de Haute Qualité et Efficace à Partir d'une Seule Image

Kailu Wu; Fangfu Liu; Zhihan Cai; Runjie Yan; Hanyang Wang; Yating Hu; Yueqi Duan; Kaisheng Ma
Unique3D : Génération de Maillages 3D de Haute Qualité et Efficace à Partir d'une Seule Image
Résumé

Dans cette étude, nous présentons Unique3D, un nouveau cadre image-to-3D permettant de générer efficacement des maillages 3D de haute qualité à partir d'images monovues, caractérisé par une fidélité de génération de pointe et une forte généralisabilité. Les méthodes précédentes basées sur l'échantillonnage par distillation de score (SDS) peuvent produire des résultats 3D variés en distillant les connaissances 3D à partir de grands modèles de diffusion 2D, mais elles souffrent généralement d'un temps d'optimisation long par cas avec des problèmes d'incohérence. Des travaux récents ont abordé ce problème et généré de meilleurs résultats 3D, soit en affinant un modèle de diffusion multivues, soit en formant un modèle feed-forward rapide. Cependant, ils manquent encore de textures détaillées et de géométries complexes en raison d'incohérences et d'une résolution générée limitée. Pour atteindre simultanément une haute fidélité, une cohérence et une efficacité dans la transformation image-to-3D à partir d'une seule image, nous proposons un nouveau cadre nommé Unique3D qui comprend : 1. Un modèle de diffusion multivues associé à un modèle de diffusion normale pour générer des images multivues avec leurs cartes normales ;2. Un processus d'upscale multiniveaux pour améliorer progressivement la résolution des vues orthographiques générées ;3. Un algorithme instantané et cohérent de reconstruction de maillage appelé ISOMER, qui intègre pleinement les a priori couleur et géométrique dans les résultats du maillage.Des expériences approfondies montrent que notre Unique3D surpasse significativement les autres méthodes baselines image-to-3D en termes de détails géométriques et texturaux.