Tencent Hunyuan3D-1.0 : un cadre unifié pour la conversion de texte en 3D et d'image en 3D

1. Introduction au tutoriel

Hunyuan3D-1.0 est un modèle de diffusion générative 3D lancé par l'équipe de recherche de Tencent en 2024. Il comprend une version légère et une version standard, toutes deux prenant en charge la génération d'actifs 3D de haute qualité à partir d'entrées de texte et d'image. La version légère peut générer des objets 3D en environ 10 secondes, tandis que la version standard peut être réalisée en environ 25 secondes. La version standard possède 3 fois plus de paramètres que la version simplifiée et les autres modèles existants. Le rapport technique pertinent estTencent Hunyuan3D-1.0 : un cadre unifié pour la génération de texte et d'images 3D".

Le cadre implique un modèle texte-image, à savoir Hunyuan-DiT. Hunyuan3D-1.0 est un framework unifié qui peut être appliqué à la génération de texte en 3D et d'image en 3D. Le modèle adopte une approche en deux étapes pour la génération d’actifs 3D. La première étape utilise un modèle de diffusion multi-vues pour générer efficacement des images RVB multi-vues en environ 4 secondes. La deuxième étape introduit un modèle de reconstruction par anticipation qui utilise ces images multi-vues pour reconstruire rapidement et avec précision la vue 3D en environ 3 secondes. Le modèle est capable de reconstruire des objets de différentes échelles, des grands bâtiments aux petits outils ou plantes. Ses performances sur deux ensembles de données 3D publics - GSO et OmniObject3D - sont meilleures que celles des principaux modèles open source, et ses capacités globales sont au niveau international. Après une évaluation multidimensionnelle qualitative et quantitative, Hunyuan3D-1.0 a obtenu de très bons résultats en termes de détails géométriques, de détails de texture, de cohérence texture-géométrie, de rationalité 3D et de conformité aux instructions.

La sortie de Hunyuan3D-1.0 fournit aux créateurs et artistes 3D un outil puissant capable d'automatiser la production d'actifs 3D et d'améliorer la vitesse et la généralisation de la génération 3D.

Ce tutoriel est une version allégée de Hunyuan3D-1.0. Il utilise 3 modèles pour que l'interface Web inclue 2 fonctions :

Deux fonctions :

Image en 3D (image_to_3D)
Texte en 3D (text_to_3D)

Trois modèles :

Hunyuan3D-1/lite Un modèle compact pour la génération multi-vues
Hunyuan3D-1/std Modèle standard pour la génération multi-vues
Modèle de reconstruction de vue clairsemée Hunyuan3D-1/svrm

2. Exemples d'effets

3. Étapes de l'opération

启动容器后等待约 3 分钟（加载模型），点击 API 地址即可进入 Web 界面（否则将会显示 BadGateway）

1. Image en 3D (image_to_3d)

选择「Text to 3D」功能，按如下要求输入提示词和进行相关设置
如果需要生成 gif 必须选中「Render gif」，否则不会生成效果。其他功能无需选中

Figure 1. Démonstration vidéo de génération d'images

2. Texte en 3D (image_en_vidéo)

选择「Image to 3D」功能，按如下要求输入提示词和相关设置。
注意：自行上传图像时，请务必保证图片为 n*n 的正方形，否则会出现报错的情况
 如果需要生成 gif 必须选中「Render gif」，否则不会生成效果。其他功能无需选中

Figure 2 Démonstration vidéo de génération d'images

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓