Text2Mesh : Stylisation neuronale guidée par le texte pour les maillages

Dans cette étude, nous développons des contrôles intuitifs pour modifier le style d'objets 3D. Notre cadre, Text2Mesh, stylise un maillage 3D en prédissant la couleur et les détails géométriques locaux qui correspondent à une indication textuelle cible. Nous considérons une représentation dissociée d'un objet 3D utilisant un maillage d'entrée fixe (contenu) couplé avec un réseau neuronal appris, que nous appelons réseau de champ de style neuronal (neural style field network). Pour modifier le style, nous obtenons un score de similarité entre une indication textuelle (décrivant le style) et un maillage stylisé en exploitant la puissance représentative de CLIP. Text2Mesh n'a pas besoin d'un modèle génératif pré-entraîné ni d'un jeu de données spécialisé en maillages 3D. Il peut gérer des maillages de faible qualité (non-manifolds, bords, etc.) avec un genre arbitraire et ne nécessite pas de paramétrisation UV. Nous démontrons la capacité de notre technique à synthétiser une multitude de styles sur une large variété de maillages 3D.