PhysX: Physikalisch fundierte 3D-Asset-Erstellung

Das 3D-Modellieren wandelt sich von der virtuellen zur physischen Welt. Bestehende 3D-Erzeugungsmethoden legen den Schwerpunkt hauptsächlich auf Geometrien und Texturen, während sie physisch fundiertes Modellieren vernachlässigen. Folglich übersehen die synthetisierten 3D-Ressourcen oft reichhaltige und wichtige physikalische Eigenschaften, was ihre Anwendung in physischen Bereichen wie Simulation und verkörperte KI erschwert. Als erster Versuch, dieser Herausforderung zu begegnen, schlagen wir PhysX vor, ein Paradigma von Anfang bis Ende für die physisch fundierte Erzeugung von 3D-Ressourcen.1) Um die entscheidende Lücke in physik-annotierten 3D-Datensätzen zu schließen, präsentieren wir PhysXNet – den ersten physisch fundierten 3D-Datensatz, der systematisch in fünf grundlegenden Dimensionen annotiert wurde: absoluter Maßstab, Material, Handlungsmöglichkeiten (Affordance), Kinematik und Funktionsbeschreibung. Insbesondere entwickeln wir eine skalierbare Annotationspipeline mit menschlicher Beteiligung basierend auf visuellen Sprachmodellen, die es ermöglicht, effizient physisch orientierte Ressourcen aus rohen 3D-Ressourcen zu erstellen.2) Darüber hinaus schlagen wir PhysXGen vor, einen feedforward-basierten Ansatz für die physisch fundierte Erzeugung von Bildern zu 3D-Ressourcen. Dieser integriert physikalisches Wissen in den vortrainierten 3D-strukturellen Raum. Genauer gesagt verwendet PhysXGen eine dual-zweigige Architektur, um die latenten Korrelationen zwischen 3D-Strukturen und physikalischen Eigenschaften explizit zu modellieren. Dadurch werden 3D-Ressourcen mit plausiblen physikalischen Vorhersagen erzeugt, wobei gleichzeitig die eingebaute Geometriequalität erhalten bleibt. Ausführliche Experimente bestätigen die überlegene Leistungsfähigkeit und vielversprechende Generalisierungsfähigkeit unseres Frameworks.Alle Codes, Daten und Modelle werden veröffentlicht, um zukünftige Forschungen im Bereich generativer physikalischer KI zu fördern.