英伟达发布Cosmos3-H-Dreams临床手术实时交互生成模拟器

英伟达发布Cosmos3-H-Dreams，将交互式生成式模拟推进到真实临床手术场景。该系统基于Cosmos 3基础模型，并结合FlashDreams流式推理加速，在单块RTX PRO 6000 GPU上实现低延迟实时生成。据官方介绍，这是首个基于临床腹腔镜胆囊切除术录像训练、并支持实时器械运动学控制的生成式手术模拟器。 与依赖几何、组织形变和物理交互显式建模的传统数值仿真不同，Cosmos3-H-Dreams直接从同步手术视频与机器人运动学数据中学习视觉动态。它由Cosmos3-H-Embodied-Nano 160亿参数模型初始化，并在筛选后的胆囊切除术视频和动作数据上微调。系统使用28维动作信号，包括双臂位姿、夹爪状态、能量控制和手柄输入，以每秒10次动作采样对齐832×480视频。 为适应长序列推演，团队先训练双向教师模型，再通过教师蒸馏得到因果学生模型，并采用自我强制训练与学习评判器减少误差累积。最终提供四步和两步去噪检查点，便于在视觉质量与推理成本之间权衡。FlashDreams配合FadeMem整合不断增长注意力缓存，以维持长时间生成稳定性。 该模拟器可由外部控制器驱动，也能迁移到具备同步视频和兼容动作表示的新数据集。英伟达强调，Cosmos3-H-Dreams仍属研究工具，面向探索手术交互仿真，并非经过临床验证的患者护理系统。