NVIDIA Cosmos 3: offene Modelle erzeugen Weltsimulationen

NVIDIA hat vier neue Open-Weight-Checkpoints für die Cosmos-3-Plattform veröffentlicht. Sie erweitern die Modellfamilie Cosmos 3 Nano um spezialisierte Varianten für interaktive Weltsimulationen, Robotik und mehrsensorische Fahrzeugszenen. Alle neuen Modelle verfügen über 16 Milliarden trainierbare Parameter und stehen unter der Lizenz OpenMDW1.1, die sowohl kommerzielle als auch nicht-kommerzielle Nutzung erlaubt. Der Schwerpunkt liegt auf der Erzeugung konsistenter sensorischer Umgebungen. Cosmos3-Nano-Transfer-Auto erzeugt offline synthetische Fahrdatensätze mit synchronisierten Videoströmen aus bis zu elf Kameraperspektiven einschließlich Fisheye-Ansichten. Zusätzlich können RGB- und LiDAR-Daten gemeinsam generiert werden. Steuerungen über World Scenario Maps ermöglichen es, Straßenstrukturen, Verkehrsabläufe und Signalzustände zu verändern, während Text-Prompts das Aussehen der Szene präzisieren. Damit eignet sich das Modell für Trainings- und Evaluationsdaten, bei denen Optik und 3D-Geometrie zueinander passen müssen. Cosmos3-Nano-Sim-Auto ist die für Echtzeitinteraktion optimierte Streaming-Variante von Transfer-Auto. Das Modell generiert kurze, fortlaufende Abschnitte synchronisierter Kamera- und LiDAR-Daten in wenigen Denoising-Schritten und nutzt dabei bereits erzeugte Historie sowie aktuelle Fahrzeugsteuerungen. Für geschlossene Regelkreise sind eine Simulationslaufzeit und ein WSM-Renderer erforderlich, die Steuerbefehle aus den Eingaben ableiten und den Szenenzustand aktualisieren. Für neue Sensorsysteme oder Einsatzdomänen soll Transfer-Auto zunächst adaptiert und anschließend in Sim-Auto distilliert werden. Cosmos3-Nano-Sim-Transfer übernimmt eine andere Rolle: Es verbindet physikalische Simulatoren mit fotorealistischer oder sensorischer Visualisierung. Der Simulator berechnet Bewegung, Kontakt und Zustand der Szene; das Modell übersetzt räumliche Steuerinformationen und Textvorgaben in RGB-Beobachtungen. Physik und Ground-Truth bleiben dabei im Simulator, während das generierte Bildmaterial von einer Regelung oder Lernmethode verwendet werden kann. Auch Tiefen- und Segmentierungssteuerungen werden unterstützt. Für robotische Manipulationsaufgaben wurde Cosmos3-Nano-Sim-Bimanual eingeführt. Das Modell simuliert die visuelle Entwicklung einer Umgebung als Reaktion auf Aktionen zweier Roboterarme und unterstützt die Embodiments YAM und AgiBot. Steuerung erfolgt über Richtlinien oder manuell via Joystick. Ein kombinierter Steuerkanal kann zwischen Kamerabewegungen und Greifoperationen wechseln. Für zeitlich korrekte Simulationen gilt, dass T Übergänge T plus 1 Beobachtungen erfordern. Das veröffentlichte Inferenzschema nutzt normierte, mit 64 Werten gepolsterte Steuerdaten. Technisch basiert Cosmos 3 auf einem Mixture-of-Transformers-Architektur-Backbone, das Textverarbeitung und visuelle Generierung über Aufmerksamkeitsmechanismen verbindet. Das Modell arbeitet mit komprimierten Video-Darstellungen, sogenannten Latents, wobei pro latentem Zeitschritt typischerweise vier RGB-Frames repräsentiert werden. Streaming, Distillation, Caching und Training mit selbst erzeugter Historie sollen die Latenz senken und Fehlerakkumulationen begrenzen. Die Checkpoints bieten Forschungs- und Entwicklungsteams einen offenen Ausgangspunkt zur Anpassung eigener Sensorkonfigurationen, Domänen und Simulationen. NVIDIA verweist zugleich auf offene Herausforderungen: Zu klären bleibt, inwieweit die Modelle policyfähige Lernprozesse zuverlässig unterstützen und wo ihre Grenzen bei Physiktreue, Stabilität und Interaktionsgeschwindigkeit liegen.