Command Palette
Search for a command to run...
Kiss3DGen : Réaffecter les modèles de diffusion d'images pour la génération de ressources 3D
Kiss3DGen : Réaffecter les modèles de diffusion d'images pour la génération de ressources 3D
Jiantao Lin Xin Yang Meixi Chen Yingjie Xu Dongyu Yan Leyi Wu Xinli Xu Lie XU Shunsi Zhang Ying-Cong Chen
Résumé
Les modèles de diffusion ont connu un grand succès dans la génération d’images 2D. Toutefois, la qualité et la généralisation de la génération de contenus 3D restent encore limitées. Les méthodes les plus avancées exigent souvent de vastes collections d’actifs 3D pour l’entraînement, qui sont difficiles à rassembler. Dans ce travail, nous introduisons Kiss3DGen (Keep It Simple and Straightforward in 3D Generation), un cadre efficace pour la génération, l’édition et l’amélioration d’objets 3D, en réutilisant un modèle de diffusion image 2D déjà bien entraîné pour la génération 3D. Plus précisément, nous adaptons un modèle de diffusion afin qu’il génère une « image 3D en paquet » (3D Bundle Image), une représentation en mosaïque composée d’images multi-vues et de leurs cartes de normales correspondantes. Ces cartes de normales sont ensuite utilisées pour reconstruire un maillage 3D, tandis que les images multi-vues fournissent une cartographie de texture, aboutissant à un modèle 3D complet. Cette approche simple transforme efficacement le problème de génération 3D en une tâche de génération d’images 2D, maximisant ainsi l’exploitation des connaissances présentes dans les modèles de diffusion pré-entraînés. En outre, nous démontrons que notre modèle Kiss3DGen est compatible avec diverses techniques de modèles de diffusion, permettant des fonctionnalités avancées telles que l’édition 3D, l’amélioration des maillages et des textures, etc. À travers des expériences étendues, nous illustrons l’efficacité de notre approche, mettant en évidence sa capacité à produire de manière efficace des modèles 3D de haute qualité.