NVIDIA Cosmos3-H-Dreams simule la chirurgie en temps réel

NVIDIA a présenté Cosmos3-H-Dreams, un simulateur génératif interactif conçu pour reproduire des scènes de chirurgie clinique en temps réel. Contrairement aux simulateurs numériques classiques, qui modélisent explicitement la géométrie, la déformation des tissus et les forces physiques, ce système apprend la dynamique visuelle à partir de vidéos synchronisées avec les données cinématiques des instruments. La première version démontrait des tâches de suture sur banc d’essai; cette évolution apprend directement à partir d’enregistrements de cholécystectomies réalisées sur la plateforme Versius de CMR Surgical. NVIDIA présente cette avancée comme le premier simulateur génératif chirurgical temps réel entraîné sur des séquences cliniques avec contrôle cinématique en direct. Pour produire des images cohérentes, le modèle est spécialisé dans la cholécystectomie et fonctionne sur un seul GPU NVIDIA RTX PRO 6000 grâce à FlashDreams, une bibliothèque d’inférence en streaming. Il pilote deux instruments simultanément, un préhenseur Cadiere et un crochet monopolaire, en recevant 28 actions correspondant aux positions, rotations, prises, commandes énergétiques et joysticks. Le réseau est construit à partir de Cosmos3-H-Embodied-Nano, un modèle de 16 milliards de paramètres, puis affiné sur des vidéos et des mouvements opératoires. Le défi principal est de garder la scène stable quand le chirurgien bouge les instruments: les tissus s’étirent, les reflets changent, les structures peuvent être masquées et la fumée perturbe la visibilité. Les petites erreurs risquent de s’accumuler et de déformer l’anatomie. Cosmos3-H-Dreams répond à cette difficulté avec une formation en plusieurs étapes. D’abord un modèle enseignant apprend sur de longues séquences de 72 images. Ensuite, il est transformé en étudiant capable de générer la vidéo par blocs, au rythme des actions du contrôleur. Une méthode appelée Self-Forcing entraîne l’étudiant à corriger ses propres erreurs, tandis qu’un mécanisme d’attention allégé gère l’historique pendant les longues simulations. Deux versions sont fournies: une en quatre étapes de débruitage, plus fidèle visuellement, et une en deux étapes, plus rapide mais un peu moins précise. Des démonstrations montrent que le simulateur peut proposer des trajectoires inédites: à partir de la même image initiale, deux suites de commandes produisent des continuations différentes avec des déformations de tissus plausibles. Cela permet de vérifier si les instruments suivent les consignes et si la scène conserve sa cohérence. NVIDIA précise que le cadre peut être adapté à d’autres jeux de données et robots chirurgicaux, à condition d’utiliser des vidéos synchronisées et des actions compatibles. Le simulateur reste toutefois un outil de recherche. Ses images crédibles ne valent pas une validation biomécanique ou clinique pour la prise en charge des patients.