HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA Cosmos-H-Dreams startet Echtzeit-Chirurgiesimulation

NVIDIA hat mit Cosmos-H-Dreams eine neue Generation der computergestützten Chirurgie-Forschung eingeleitet. Das Unternehmen stellt damit den ersten in Echtzeit arbeitenden, generativen Simulator für die chirurgische Robotik vor. Der Schritt markiert einen Paradigmenwechsel in der Entwicklung von KI-gesteuerten Handlungspolicies, da er die bisherige Abhängigkeit von teuren physischen Roboterplattformen und aufwändigen physischen Tests erheblich reduziert. Der Simulator basiert auf der Distillation des früheren Modells Cosmos-H-Surgical-Simulator, welches auf der Cosmos-Predict2.5-2B-Architektur und dem Open-H-Embodiment-Datensatz beruht. Durch einen Teacher-to-Student-Trainingsansatz, selbstinduzierte Distillation und progressive zeitliche Horizontverlängerungen wurde das Modell in einen kausalen, autoregressiven Schüler umgewandelt. Dieser generiert chirurgische Szenen in wenigen Denoising-Schritten basierend auf initialen Bildrahmen und Echtzeit-Robotikkinematik. Die Inference wird durch die proprietäre Bibliothek FlashDreams beschleunigt, die Streaming-KV-Caches, CUDA-Graph-Capturing und Modellkompilierung nutzt. Auf einer einzigen NVIDIA RTX PRO 6000 Grafikkarte erreicht das System so interaktive Raten von rund 160 Bildern pro Sekunde. Ein entscheidender Vorteil von Cosmos-H-Dreams liegt in seiner Fähigkeit, auch fehlerhafte und out-of-distribution-Szenarien präzise abzubilden. Das Trainingsdataset umfasst neben erfolgreichen Nähsimulationen auch gezielte Fehlschläge, was für eine realistische Politikbewertung unverzichtbar ist. Das System ist modular aufgebaut und wurde bereits erfolgreich mit dem da Vinci Research Kit sowie der Versius-Chirurgieroboterplattform von CMR Surgical integriert. Über standardisierte Schnittstellen lassen sich Browser-Clients, VR-Brillen der Marke Meta oder autonome Lernagenten direkt in den Simulationslauf einbinden. Die Einführung von Cosmos-H-Dreams schafft die Grundlage für geschlossene Feedback-Schleifen in der chirurgischen KI-Entwicklung. Statt langer Offline-Walkthroughs ermöglichen Forscher nun interaktives Training, bedarfsgenerierte Synthesedaten für seltene Komplikationen und die schnelle Evaluation neuer Steuerungsalgorithmen ohne physikalische Hardwarerisiken. NVIDIA betont dabei ausdrücklich, dass es sich um eine reine Forschungs- und Entwicklungsplattform handelt, die weder diagnostische Zwecke erfüllt noch menschliches Fachpersonal ersetzen soll. Mit der Veröffentlichung der Distillations-Pipelines und der Echtzeit-Inferenzumgebung positioniert sich NVIDIA als Treiber für Physical-AI-Ökosysteme im medizinischen Bereich. Die direkte Weiterentwicklung des Modells auf individuelle Datensätze wird durch offengelegte Konfigurationsanleitungen unterstützt. Durch die nahtlose Verbindung von Simulation, synthetischer Datenerzeugung und Automatisierungskontrolle legt Cosmos-H-Dreams das Fundament für zukünftige Anwendungen wie latenzkompensierte Telechirurgie, präoperative Planung und intraoperative Entscheidungsunterstützung. Die Plattform steht ab sofort der wissenschaftlichen Community für die nächste Generation chirurgischer KI-Forschung zur Verfügung.

Verwandte Links