MeshCoder : Génération de code de maillage structuré par LLM à partir de nuages de points

La reconstruction de objets 3D en programmes éditables est essentielle pour des applications telles que l’ingénierie inverse ou l’édition de formes. Toutefois, les méthodes existantes s’appuient souvent sur des langages spécifiques à un domaine (DSL) limités et sur des jeux de données à petite échelle, ce qui restreint leur capacité à modéliser des géométries et structures complexes. Pour relever ces défis, nous introduisons MeshCoder, un cadre novateur qui reconstruit des objets 3D complexes à partir de nuages de points en scripts Python éditables pour Blender. Nous avons développé un ensemble complet d’API Python Blender expressives, capables de synthétiser des géométries complexes. En exploitant ces API, nous avons construit un grand jeu de données apparié objet-code, dans lequel le code associé à chaque objet est décomposé en parties sémantiques distinctes. Par la suite, nous avons entraîné un modèle de langage massif multimodal (LLM) capable de traduire un nuage de points 3D en scripts Python exécutables pour Blender. Notre approche atteint non seulement des performances supérieures dans les tâches de reconstruction forme-code, mais permet également une édition géométrique et topologique intuitive grâce à des modifications de code simples. En outre, la représentation basée sur le code améliore les capacités de raisonnement des LLM dans les tâches de compréhension des formes 3D. Collectivement, ces contributions établissent MeshCoder comme une solution puissante et flexible pour la reconstruction et la compréhension des formes 3D par programmation.