NTU-Team: KI generiert physiksimulierte Objekte für Robotik
Das Forschungsteam um Professor Liu Ziwei an der Nanyang Technological University in Singapur hat mit PhysX-Omni die erste einheitliche Framework-Lösung für die 3D-Modellgenerierung mit integrierter physikalischer Simulation vorgestellt. Das KI-System erzeugt aus einem einzelnen Foto sofort simulationstaugliche 3D-Objekte und prognostiziert dabei präzise physikalische Eigenschaften wie Gewicht, Materialelastizität, Gelenkbewegungen und absolute Abmessungen. Damit schließt das System eine entscheidende Lücke in der KI-Forschung: Bisher erzeugte 3D-Generierung oft nur visuell plausible, aber physikalisch inerte Modelle. PhysX-Omni ermöglicht hingegen direkte Interaktionen mit der realen Welt und liefert skalierbare Trainingsdaten für den Bereich Embodied AI und robotergestützte Strategien. Der technische Durchbruch basiert auf einer neu entwickelten, templatebasierten Run-Length-Encoding-Methode. Diese komprimiert dreidimensionale Gitterstrukturen in textuelle Darstellungen, die direkt von Sprachmodellen verarbeitet werden können. Der Ansatz eliminiert Fehlerakkumulation durch Zwischenrepräsentationen und reduziert den Token-Verbrauch um bis zu zwanzig Prozent bei gleichzeitiger Beibehaltung hochauflösender Geometriedetails. Das Modell basiert auf einer sieben-Milliarden-Parameter-Basisarchitektur und weist einen deutlich geringeren Rechenaufwand auf als herkömmliche Simulationssoftware. In Tests sank der Fehler bei der Vorhersage absoluter Maßstäbe von rund 300 auf unter 2,8, was einer Verbesserung um zwei Größenordnungen entspricht. Zur Unterstützung des Frameworks entwickelten die Forscher den Datensatz PhysXVerse mit über 8.700 annotierten Objekten sowie die Evaluierungsplattform PhysX-Bench. Beide bewerten Geometrie, physikalische Konsistenz, Bewegungsreichweite und Bedienbarkeit. Die Ergebnisse übertreffen die bisherigen State-of-the-Art-Modelle deutlich. Praktische Anwendungen umfassen die direkte Bereitstellung generierter Assets in gängigen Physiksimulationen. In Versuchen nutzte ein Roboter die KI-generierten Modelle zur Strategieentwicklung für komplexe Interaktionen wie das Öffnen von Schubladen oder das Stapeln von Kleidung, ohne manuelle Nachbearbeitung. Darüber hinaus ermöglicht das System die automatisierte Rekonstruktion kompletter Umgebungen aus Einzelbildern, wodurch der Aufbau virtueller Testumgebungen erheblich beschleunigt wird. Die Technologie wird bereits von Industrieunternehmen wie der chinesischen Firma DaXiao Robotics in Simulationsplattformen integriert, während Start-ups im Silicon Valley großes Interesse bekunden. Langfristig könnte PhysX-Omni nicht nur die Produktionsketten in Games und VFX verkürzen, sondern auch als kostengünstige Alternative zu physischen Laborexperimenten im Bereich AI for Science dienen. Die Veröffentlichung der Forschung erscheint als Preprint auf arXiv und markiert einen wesentlichen Schritt hin zu einer datengetriebenen, physikalisch fundierten KI-Generierung.
