1. Introduction au tutoriel

Kiss3DGen est un framework open source de génération et de reconstruction 3D développé par l'équipe EnVision-Research et publié en mars 2025. Il vise à transférer efficacement des modèles de diffusion 2D pré-entraînés vers des tâches de génération de contenu 3D. Il prend en charge le rendu multivue de haute qualité, la génération de texte 3D, la conversion d'images en 3D et la reconstruction de maillages 3D, intégrant des modules avancés tels que Flux, Multiview, Caption, Reconstruction et LLM. Il introduit également la technologie 3D Bundle Image, combinée aux cartes normales et aux informations de texture, pour une reconstruction géométrique précise. De plus, il peut être utilisé avec des outils comme ControlNet pour l'amélioration et l'édition de modèles 3D. Ce framework open source est facile à déployer et présente un intérêt tant pour la recherche académique que pour les applications pratiques. Des articles de recherche associés sont disponibles. Kiss3DGen : Réutilisation des modèles de diffusion d'images pour la génération d'actifs 3DIl a été inclus dans CVPR 2025.

Ce tutoriel utilise une configuration à deux cartes graphiques RTX a6000. Les instructions du projet sont uniquement disponibles en anglais.

2. Exemples de projets

texte en 3D 

image vers 3D 

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Étapes d'utilisation

Si le message « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Ce modèle étant volumineux, veuillez patienter 5 à 7 minutes, puis actualiser la page.

texte en 3D 

image vers 3D

Remarque : Si vous rencontrez une erreur, veuillez utiliser une image plus petite. Nous recommandons une image de moins de 3 Mo.

Description des paramètres

• Intensité de Redux : contrôle le degré de « redessin/optimisation » de l’image générée. Une valeur élevée entraîne des modifications plus importantes et un changement de détails plus marqué par rapport à l’image originale ; une valeur faible préserve davantage les détails et la structure de l’image générée originale. Plage de valeurs : 0 à 1.
• Intensité du débruitage : contrôle le degré de réduction du bruit lors de la génération. Des valeurs élevées (proches de 1) produisent une image plus fidèle à l’image d’entrée, mais avec une plus grande variation ; des valeurs faibles produisent un résultat plus fidèle à l’image originale. Plage de valeurs : 0 à 1.
• Activer Redux : lorsqu’elle est activée, une mise à jour optimisée basée sur la force de Redux sera automatiquement effectuée après la génération de l’image afin d’améliorer la qualité et le niveau de détail de l’image.
• Activer ControlNet : lorsqu’elle est activée, ControlNet peut être utilisée pendant le processus de génération pour les contraintes structurelles ou de fonctionnalités (telles que les croquis de référence, les cartes de contours, les cartes de profondeur, etc.), afin que l’image générée puisse répondre à des exigences structurelles spécifiques tout en conservant son style.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@article{lin2025kiss3dgen,
  title={Kiss3DGen: Repurposing Image Diffusion Models for 3D Asset Generation},
  author={Lin, Jiantao and Yang, Xin and Chen, Meixi and Xu, Yingjie and Yan, Dongyu and Wu, Leyi and Xu, Xinli and Xu, Lie and Zhang, Shunsi and Chen, Ying-Cong},
  journal={arXiv preprint arXiv:2503.01370},
  year={2025}
}