HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA veröffentlicht Cosmos 3 Edge für Robotik

NVIDIA hat das offene Weltmodell Cosmos 3 Edge veröffentlicht, das speziell für den Echtzeitbetrieb auf ressourcenbeschränkten Edge-Hardware entwickelt wurde. Das Modell ist über das Cosmos-3-Repository von Hugging Face verfügbar und basiert auf einer Architektur mit vier Milliarden Parametern. Es läuft effizient auf einer breiten Palette von NVIDIA-Systemen, darunter Jetson T2000 und T3000, DGX-Plattformen sowie RTX-Grafikprozessoren. Technisch nutzt Cosmos 3 Edge zwei Transformer-Türme mit geteilter multimodaler Aufmerksamkeitsmechanik. Ein autoregressiver Pfad übernimmt kontextuelles Verständnis und ein Diffusionspfad generiert sensorische Vorhersagen sowie Robotersteuerbefehle. Durch eine gemeinsame Repräsentation lassen sich visuelle Eingaben direkt mit physikalischen Aktionsvektoren verknüpfen. Auf der Jetson Thor-Architektur erreicht das System eine Steuerfrequenz von 15 Hertz und kann pro Inferenzschritt bis zu 32 Aktionen ausgeben. Im Benchmark VANTAGE-Bench führt Cosmos 3 Edge die Klasse der Modelle mit vergleichbarer Parameteranzahl an und etabliert neue Standards im robotischen Policy-Learning. Zur Beschleunigung der Entwicklung stellt NVIDIA das posttrainierte Cosmos 3 Edge Policy (DROID) für Manipulationsaufgaben vor. Zudem werden offene Trainingsskripte sowie das Cosmos 3 Super 4-Step-Distillationsmodell veröffentlicht, das die erforderlichen Diffusionsschritte auf vier reduziert und die Inferenzgeschwindigkeit um das 25-Fache steigert, ohne Qualitätseinbußen. Mit Cosmos 3 Edge verlagert NVIDIA die Intelligenz für physische Systeme direkt an den Rand des Netzwerks. Modelle können dort autonom Umgebungsprozesse erfassen, zukünftige Zustände simulieren und Steuerungsbefehle generieren. Die Ausrichtung von NVIDIA konzentriert sich nun auf die Weiterentwicklung interaktiver Simulationen, fahrtechnischer Szenarien sowie die Optimierung des Modells über Frameworks wie vLLM, um Entwicklungsaufwand und Rechenbedarf zukünftiger Iterationen weiter zu reduzieren.

Verwandte Links