Lin Li Zehuan Huang Haoran Feng Gengxiong Zhuang Rui Chen Chunchao Guo Lu Sheng

Résumé

L’édition locale 3D des régions spécifiées est cruciale pour l’industrie des jeux vidéo et l’interaction robotique. Les méthodes récentes consistent généralement à modifier des images multi-vues rendues, puis à reconstruire un modèle 3D, mais elles rencontrent des difficultés pour préserver avec précision les régions non modifiées et assurer une cohérence globale. Inspirés par les modèles génératifs 3D structurés, nous proposons VoxHammer, une nouvelle approche sans entraînement permettant une édition précise et cohérente dans l’espace latent 3D. Étant donné un modèle 3D, VoxHammer prédit d’abord sa trajectoire d’inversion, puis obtient ses latents inversés et ses jetons clé-valeur à chaque instant. Par la suite, lors de la phase de débruitage et d’édition, nous remplaçons les caractéristiques de débruitage des régions préservées par les latents inversés correspondants et les jetons clé-valeur mis en cache. En conservant ces caractéristiques contextuelles, cette approche garantit une reconstruction cohérente des zones préservées et une intégration fluide des parties modifiées. Pour évaluer la cohérence des régions préservées, nous avons construit Edit3D-Bench, un jeu de données annoté par des humains comprenant des centaines d’échantillons, chacun comportant des régions d’édition 3D soigneusement étiquetées. Les expériences montrent que VoxHammer surpasse significativement les méthodes existantes en termes de cohérence 3D des régions préservées et de qualité globale. Notre méthode présente un réel potentiel pour la synthèse de paires de données éditées de haute qualité, posant ainsi les bases données pour la génération 3D contextuelle. Consultez notre page projet à l’adresse https://huanngzh.github.io/VoxHammer-Page/.