HyperAIHyperAI

Command Palette

Search for a command to run...

MeshCoder: Strukturierte Mesh-Codegenerierung aus Punktwolken mittels LLM

Zusammenfassung

Die Rekonstruktion von 3D-Objekten in bearbeitbare Programme ist entscheidend für Anwendungen wie die Reverse-Engineering-Prozesse und die Formbearbeitung. Bisherige Methoden beruhen jedoch oft auf eingeschränkten, domain-spezifischen Sprachen (DSLs) und kleinen Datensätzen, was ihre Fähigkeit einschränkt, komplexe Geometrien und Strukturen zu modellieren. Um diese Herausforderungen zu bewältigen, stellen wir MeshCoder vor, einen neuartigen Rahmen, der komplexe 3D-Objekte aus Punktwolken in editierbare Blender-Python-Skripte rekonstruiert. Wir entwickeln eine umfassende Reihe ausdrucksstarker Blender-Python-APIs, die in der Lage sind, komplexe Geometrien zu generieren. Auf Basis dieser APIs erstellen wir einen großskaligen, paaren Datensatz aus Objekt-Code-Beispielen, wobei der Code jedes Objekts in semantisch unterschiedliche Teile zerlegt wird. Anschließend trainieren wir ein multimodales Großsprachmodell (LLM), das 3D-Punktwolken in ausführbare Blender-Python-Skripte übersetzt. Unser Ansatz erreicht nicht nur eine herausragende Leistung bei der Rekonstruktion von Formen in Code, sondern ermöglicht auch intuitive geometrische und topologische Bearbeitungen durch einfache Code-Änderungen. Darüber hinaus verbessert unsere codebasierte Darstellung die Schlussfolgerungsfähigkeiten von LLMs bei Aufgaben zur 3D-Formverstehens. Zusammen bilden diese Beiträge MeshCoder zu einer leistungsfähigen und flexiblen Lösung für die programmatische Rekonstruktion und das Verständnis von 3D-Formen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp