NVIDIA Cosmos3-H-Dreams simuliert OPs generativ in Echtzeit

NVIDIA hat Cosmos3-H-Dreams vorgestellt, einen Echtzeit-Simulator für generative Klinikchirurgie, der operative Bildgebung und kinematische Steuerung verbindet. Nach Cosmos-H-Dreams für Nahtaufgaben auf dem dVRK-Tabletop soll das neue System die visuelle und prozedurale Komplexität klinischer Eingriffe adressieren. NVIDIA bezeichnet es als ersten Echtzeit-Generatorsimulator für Chirurgie, der auf Aufnahmen realer Gallenblasenentfernungen mit der CMR-Surgical-Versius-Plattform trainiert wurde und eine Lebendsteuerung über Roboterbefehle unterstützt. Auf einer einzelnen NVIDIA RTX PRO 6000 läuft das System mit Cosmos 3 und FlashDreams als beschleunigter Streaming-Inferenzschicht. Das Modell basiert auf Cosmos3-H-Embodied-Nano mit 16 Milliarden Parametern, das auf Open-H-Embodiment vortrainiert wurde. Ein bidirektionales Lehrmodell wird auf kuratierte Videos und Roboterkinematiken aus Cholezystektomien spezialisiert. Trainiert wird mit Bildsequenzen in 832 mal 480 Pixeln, einer Alignierungsrate von 10 Hertz und 28 Steuerkanälen, darunter Gelenk-, Greifer-, Energie- und Steuerknüppelbefehle für beide Arme. Ziel ist, dass der Simulator nicht nur realistisch aussieht, sondern auf Translation, Rotation und Greiferbefehle mit kohärenten anatomischen Reaktionen antwortet. Für interaktive Rollouts wurde das Lehrmodell in kausale Schülermodelle destilliert, die kurze Videoblöcke bei eintreffenden Aktionen generieren. Das Verfahren nutzt vorbereitendes Sequenztraining, Selbstgenerierungstraining und einen gelernten Kritiker, um Fehler über längere Zeiträume zu begrenzen. Veröffentlicht werden vierstufige und zweistufige Checkpoints. Die zweistufige Variante ist separat trainiert und liefert schnellere Inferenz bei etwas geringerer visueller Qualität. Längere Generierung profitiert von FlashDreams und einer angepassten Gedächtniskonsolidierung, die den wachsenden Aufmerksamkeitszwischenspeicher während langer Streaming-Rollouts zusammenführt. Demonstrationen beginnen mit demselben Bild und führen unterschiedliche, über eine VR-Aufzeichnung erzeugte Instrumentenbewegungen zu getrennten Verläufen. Dabei sollen Gewebeverformungen, Verdeckungen, Reflexionen und die Form von Instrumenten sowie Anatomie über die Zeit stabil bleiben. Das System soll auch über die Trainingsdaten hinaus verallgemeinern. NVIDIA betont zugleich, dass Cosmos3-H-Dreams ein Forschungs-Simulator ist und nicht als validiertes System für Patientenversorgung gilt. Entwickler können die Modelle, Daten und Runtime nutzen und über einen Leitfaden auf eigene synchronisierte Videodaten und kompatible Aktionsrepräsentationen anpassen. Für eigene Steuerungen müssen dieselben Aktionskonventionen und Normalisierungen wie im Training verwendet werden.