Die Robotik betritt eine neue Ära, die den Übergang von kontrollierten Demos und skriptbasierten Automatisierungen hin zu generalisierbarer, zuverlässiger physischer Autonomie in der realen Welt markiert. Auf der Internationalen Konferenz für Robotik und Automatisierung (ICRA) stellten Forscherteams von NVIDIA vor, wie durch die Simulation-zu-Real-Übertragung (Sim-to-Real) die Grundlage für diese Entwicklung gelegt wird. Von den insgesamt 28 eingereichten Arbeiten des NVIDIA Research-Teams zeigten acht, wie Roboter nun in der Lage sind, in dynamischen und unvorhersehbaren Umgebungen wahrzunehmen, zu reasoned zu planen und zu handeln. Die vorgestellten Forschungsergebnisse decken die gesamte Bandbreite an Herausforderungen für Robotik-Entwickler ab. Ein besonders vielversprechender Ansatz ist das Framework ScheduleStream, das mehrere Roboterarme koordiniert. Im Gegensatz zu traditioneller Software, die Schritte nacheinander abarbeitet, ermöglicht ScheduleStream die parallele Berechnung von Bewegungsabläufen auf GPU-basierter Hardware. Dies führt in Multi-Arm-Szenarien zu einer dreifachen Beschleunigung der Planung. Für die Navigation löst das COMPASS-Rahmenwerk das Problem, dass Roboter oft nur für ihre spezifische Körperform trainiert wurden. Durch die Kombination aus Imitationslernen und residueller Verstärkungslernen in der Simulation erreicht COMPASS eine vierfacherhöhte Erfolgsquote im Vergleich zu Basismodellen und überträgt sich nahtlos auf die reale Welt mit etwa 80 % Erfolgswahrscheinlichkeit bei 20 Tests mit mobilen Robotern und Humanoiden. Das Greifen von Objekten stellt ebenfalls eine Hürde dar. Grasp-MPC korrigiert die Bewegung des Roboters adaptiv in Echtzeit, ähnlich wie ein Mensch, der durch Fühlen und Anpassen greift, statt einen starren Plan abzuarbeiten. Diese Methode erreichte auf realen Robotern eine Erfolgsquote von 75 %, verglichen mit nur 41 % bei herkömmlichen Systemen. Ein weiterer Durchbruch ist die Manipulation von deformierbaren Objekten, wie beispielsweise verflochtenen Ästen. Das Framework nutzt den gesamten Roboterarm, um ganze Bündel zu erfassen, was in der Realität ohne vorherige Anpassung funktioniert. Präzisionsmontage war lange Zeit ein Problem, da Simulatoren physikalische Ungenauigkeiten nicht vollständig abbilden können. Die SPARR-Methode teilt den Prozess auf: Eine Simulation lernt die allgemeine Strategie, während eine zweite Ebene in der realen Hardware Fehler korrigiert, basierend auf Kameraeindrücken ohne menschliches Eingreifen. Dies verbesserte die Erfolgsrate um 38 %. Das Refinery-Framework erweitert dies auf komplexe Abfolgen, bei denen der Erfolg eines Schrittes vom vorherigen abhängt, und erreichte eine Simulations-Erfolgsquote von 91 %. Zusätzlich verbessern neue Modelle die visuelle Wahrnehmung. Das PEEK-System hilft Robotern, sich auf relevante Objekte in überladenen Szenen zu fokussieren, indem es die Bildverarbeitung priorisiert. Dies führt zu einer 41-fachen Verbesserung der Genauigkeit bei rein simulierten Richtlinien. Ein weiteres System namens SEAL verhindert Fehlausführungen, indem es Aktionsabfolgen in Echtzeit validiert, sodass der Roboter genau das tut, was er plant. Neben diesen methodischen Fortschritten stellt NVIDIA auch umfangreiche Datenressourcen zur Verfügung. Das NVIDIA Physical AI Dataset ist mit über 15 Millionen Downloads das weltweit größte offene Datenset für die physische Entwicklung. Universitäten wie Carnegie Mellon, ETH Zürich und MIT nutzen diese Infrastruktur bereits intensiv, um ihre Forschung von der Simulation in die reale Anwendung zu überführen.