NVIDIA vient de lancer Cosmos-H-Dreams, un simulateur génératif en temps réel conçu pour la robotique chirurgicale. L'objectif est de résoudre les défis majeurs liés à l'entraînement et à l'évaluation des systèmes robotiques chirurgicaux modernes, qui deviennent de plus en plus autonomes. L'utilisation de robots physiques reste coûteuse, lente et risquée en raison de la complexité des interactions avec les tissus biologiques et les instruments. Pour pallier ces limites, NVIDIA s'appuie sur des modèles d'intelligence artificielle capables d'apprendre directement à partir de vidéos et de données robotiques. L'entreprise a initialement développé un simulateur hors ligne, mais Cosmos-H-Dreams rend désormais l'expérience interactive. Grâce à une technique de distillation neuronale, le modèle complexe a été optimisé en un réseau causal plus léger, exécuté via la bibliothèque FlashDreams. Sur une seule carte NVIDIA RTX PRO 6000, il génère environ 160 images par seconde, permettant des interventions simulées en boucle fermée. Cette architecture permet à un opérateur humain ou à un algorithme d'envoyer des commandes et de recevoir des retours visuels instantanés. Le système est compatible avec des plateformes comme le kit da Vinci et le contrôleur Versius, tout en restant extensible à d'autres robots chirurgicaux via des jeux de données publics. Les chercheurs peuvent ainsi adapter le moteur à leurs propres environnements en suivant des procédures de fine-tuning open source. Au-delà de la simulation visuelle, l'outil accélère la recherche en permettant la génération de données synthétiques, l'entraînement d'algorithmes d'apprentissage automatique et l'évaluation rapide de politiques de contrôle sans risque matériel. NVIDIA précise que Cosmos-H-Dreams est strictement une plateforme de recherche et développement. Il ne constitue pas un outil clinique, ne remplace pas l'imagerie peropératoire et ne contrôle pas de robots chirurgicaux réels. Néanmoins, il ouvre la voie à un environnement d'intelligence physique unifié, facilitant la formation chirurgicale, la planification d'interventions et le développement de la télémédecole. Des ressources techniques complètes sont désormais accessibles à la communauté scientifique pour tester et intégrer cette technologie dans des pipelines de développement médical.