Chat-Edit-3D : Édition interactive de scènes 3D par le biais de prompts textuels

Les travaux récents sur la manipulation du contenu d'images basée sur des modèles de préformation vision-langage ont été efficacement étendus à l'édition de scènes 3D guidée par le texte. Cependant, les schémas existants pour l'édition de scènes 3D présentent encore certaines limitations qui entravent leur conception interactive ultérieure. Ces schémas adhèrent généralement à des modèles d'entrée fixes, limitant ainsi la flexibilité des utilisateurs dans la saisie de texte. De plus, leurs capacités d'édition sont contraintes par un seul ou quelques modèles visuels 2D et nécessitent une conception de pipeline complexe pour intégrer ces modèles dans les processus de reconstruction 3D. Pour remédier aux problèmes mentionnés, nous proposons une approche d'édition de scènes 3D basée sur le dialogue, appelée CE3D, qui repose sur un grand modèle linguistique permettant une saisie textuelle arbitraire des utilisateurs et interprétant leurs intentions, facilitant ainsi l'appel autonome des modèles experts visuels correspondants. De plus, nous concevons un schéma utilisant Hash-Atlas pour représenter les vues de scènes 3D, ce qui transfère l'édition des scènes 3D sur des images atlas 2D. Cette conception réalise une découplage complet entre les processus d'édition 2D et de reconstruction 3D, permettant à CE3D d'intégrer flexiblement une large gamme de modèles visuels existants en 2D ou en 3D sans nécessiter une conception de fusion complexe. Les résultats expérimentaux montrent que CE3D intègre efficacement plusieurs modèles visuels pour obtenir divers effets visuels d'édition, possédant une forte compréhension des scènes et des capacités de dialogue multi-tours. Le code est disponible à l'adresse suivante : https://sk-fun.fun/CE3D.