MeshCoder: Strukturierte Mesh-Codegenerierung aus Punktwolken mittels LLM

Die Rekonstruktion von 3D-Objekten in bearbeitbare Programme ist entscheidend für Anwendungen wie die Reverse-Engineering-Prozesse und die Formbearbeitung. Bisherige Methoden beruhen jedoch oft auf eingeschränkten, domain-spezifischen Sprachen (DSLs) und kleinen Datensätzen, was ihre Fähigkeit einschränkt, komplexe Geometrien und Strukturen zu modellieren. Um diese Herausforderungen zu bewältigen, stellen wir MeshCoder vor, einen neuartigen Rahmen, der komplexe 3D-Objekte aus Punktwolken in editierbare Blender-Python-Skripte rekonstruiert. Wir entwickeln eine umfassende Reihe ausdrucksstarker Blender-Python-APIs, die in der Lage sind, komplexe Geometrien zu generieren. Auf Basis dieser APIs erstellen wir einen großskaligen, paaren Datensatz aus Objekt-Code-Beispielen, wobei der Code jedes Objekts in semantisch unterschiedliche Teile zerlegt wird. Anschließend trainieren wir ein multimodales Großsprachmodell (LLM), das 3D-Punktwolken in ausführbare Blender-Python-Skripte übersetzt. Unser Ansatz erreicht nicht nur eine herausragende Leistung bei der Rekonstruktion von Formen in Code, sondern ermöglicht auch intuitive geometrische und topologische Bearbeitungen durch einfache Code-Änderungen. Darüber hinaus verbessert unsere codebasierte Darstellung die Schlussfolgerungsfähigkeiten von LLMs bei Aufgaben zur 3D-Formverstehens. Zusammen bilden diese Beiträge MeshCoder zu einer leistungsfähigen und flexiblen Lösung für die programmatische Rekonstruktion und das Verständnis von 3D-Formen.