Mit nur einem Smartphone lässt sich nun eine realistische 3D-Umgebung für die Robotersimulation in NVIDIA Isaac Sim erstellen – dank der neuen Omniverse NuRec-Technologie. Der Prozess beginnt mit der Aufnahme eines realen Raums mit dem iPhone: Dabei sollten Fotos in guter Beleuchtung und scharf aufgenommen werden, wobei eine Überlappung von etwa 60 % und eine langsame, gleichmäßige Bewegung beim Aufnehmen sicherstellen, dass ausreichend Detailinformationen vorliegen. Wichtig ist zudem, dass die Bilder im JPEG-Format gespeichert werden, da COLMAP, ein Open-Source-Tool für Struktur aus Bewegung (SfM), HEIC-Dateien nicht direkt verarbeitet. Im zweiten Schritt wird mit COLMAP eine spärliche 3D-Rekonstruktion erstellt. Die Software analysiert die Fotos, schätzt die Kamerapositionen und generiert einen Punktewolken-Modell der Umgebung. Dieser Schritt liefert die geometrische Grundlage für die nächste Phase. Die Ausgabe ist ein Projektordner mit Datenbank, Bildern und einer spärlichen Rekonstruktion, die als Eingabe für den nächsten Schritt dient. Der dritte Schritt ist der eigentliche Durchbruch: Mit dem Algorithmus 3DGUT wird aus der spärlichen Rekonstruktion und den Originalbildern eine dichte, photorealistische 3D-Szene erzeugt. 3DGUT nutzt Gaussian Splatting, um eine hochauflösende, visuell reale Umgebung zu generieren. Nach Abschluss des Trainings – je nach Größe der Szene und Leistung der GPU dauert dies von wenigen Minuten bis zu mehreren Stunden – wird die Szene als USDZ-Datei exportiert. Diese enthält nicht nur die 3D-Geometrie, sondern auch die Materialien und Lichtverhältnisse, und ist direkt in Isaac Sim nutzbar. Im vierten Schritt wird die USDZ-Datei in NVIDIA Isaac Sim (ab Version 5.0) geladen. Nach dem Import erscheint die Szene als farbige Punktewolke im Viewport – ein visuell beeindruckendes Abbild der realen Umgebung. Um eine physikalische Interaktion zu ermöglichen, wird ein Bodenplattform hinzugefügt, die als physikalisches Grundelement dient. Zusätzlich wird ein Proxy-Mesh konfiguriert, damit Schatten korrekt auf die Oberfläche projiziert werden. Anschließend kann ein Roboter – etwa der Franka Emika Panda, ein mobiles Robotermodell wie TurtleBot oder ein humanoider Roboter – direkt aus der Isaac-Sim-Bibliothek eingefügt werden. Mit den Standard-Tools kann der Roboter positioniert und animiert werden. Sobald die Simulation gestartet wird, agiert der Roboter in einer exakt rekonstruierten, realitätsnahen Umgebung. Dies eröffnet neue Möglichkeiten für die Entwicklung und Testung von Robotik-Systemen, insbesondere im Bereich des Reinforcement Learning und der physischen KI. Die Integration von realen Umgebungen in die Simulation beschleunigt die Entwicklung und verbessert die Übertragbarkeit von Algorithmen in die reale Welt. Industrieexperten sehen in dieser Entwicklung einen Meilenstein für die Robotik- und KI-Entwicklung: „Mit NuRec und 3DGUT wird die Barrier für die Erstellung hochwertiger Simulationsumgebungen praktisch zu Null“, sagt ein Forscher von einem führenden Technologieinstitut. „Die Kombination aus Smartphone-Aufnahmen, automatisierter Rekonstruktion und direkter Integration in Isaac Sim macht professionelle Simulation zugänglich für Forscher, Studenten und Entwickler weltweit.“ NVIDIA Omniverse und Isaac Sim bleiben zentrale Plattformen für die Zukunft der physischen KI, unterstützt durch Entwickler-Startkits und Veranstaltungen wie das Physical AI and Robotics Day auf der GTC 2025 in Washington, D.C.