HyperAIHyperAI

Command Palette

Search for a command to run...

PhysX: Physikalisch fundierte 3D-Asset-Erstellung

Ziang Cao Zhaoxi Chen Linag Pan Ziwei Liu

Zusammenfassung

Das 3D-Modellieren wandelt sich von der virtuellen zur physischen Welt. Bestehende 3D-Erzeugungsmethoden legen den Schwerpunkt hauptsächlich auf Geometrien und Texturen, während sie physisch fundiertes Modellieren vernachlässigen. Folglich übersehen die synthetisierten 3D-Ressourcen oft reichhaltige und wichtige physikalische Eigenschaften, was ihre Anwendung in physischen Bereichen wie Simulation und verkörperte KI erschwert. Als erster Versuch, dieser Herausforderung zu begegnen, schlagen wir PhysX vor, ein Paradigma von Anfang bis Ende für die physisch fundierte Erzeugung von 3D-Ressourcen.1) Um die entscheidende Lücke in physik-annotierten 3D-Datensätzen zu schließen, präsentieren wir PhysXNet – den ersten physisch fundierten 3D-Datensatz, der systematisch in fünf grundlegenden Dimensionen annotiert wurde: absoluter Maßstab, Material, Handlungsmöglichkeiten (Affordance), Kinematik und Funktionsbeschreibung. Insbesondere entwickeln wir eine skalierbare Annotationspipeline mit menschlicher Beteiligung basierend auf visuellen Sprachmodellen, die es ermöglicht, effizient physisch orientierte Ressourcen aus rohen 3D-Ressourcen zu erstellen.2) Darüber hinaus schlagen wir PhysXGen vor, einen feedforward-basierten Ansatz für die physisch fundierte Erzeugung von Bildern zu 3D-Ressourcen. Dieser integriert physikalisches Wissen in den vortrainierten 3D-strukturellen Raum. Genauer gesagt verwendet PhysXGen eine dual-zweigige Architektur, um die latenten Korrelationen zwischen 3D-Strukturen und physikalischen Eigenschaften explizit zu modellieren. Dadurch werden 3D-Ressourcen mit plausiblen physikalischen Vorhersagen erzeugt, wobei gleichzeitig die eingebaute Geometriequalität erhalten bleibt. Ausführliche Experimente bestätigen die überlegene Leistungsfähigkeit und vielversprechende Generalisierungsfähigkeit unseres Frameworks.Alle Codes, Daten und Modelle werden veröffentlicht, um zukünftige Forschungen im Bereich generativer physikalischer KI zu fördern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PhysX: Physikalisch fundierte 3D-Asset-Erstellung | Paper | HyperAI