NVIDIA Cosmos3-H-Dreamsが臨床手術を生成シミュレーション

NVIDIAは、CMR SurgicalのVersius平台上で記録された臨床胆嚢摘出術の動画とロボット運動学データから学習し、リアルタイムで器械操作に追従する生成シミュレーターCosmos3-H-Dreamsを公開した。臨床胆嚢摘出術動画に基づくリアルタイム生成シミュレーターとしては初めてとし、NVIDIA RTX PRO 6000 GPU1枚で動作する。体内の複雑な視覚と操作を扱い、モデルは160億パラメータのCosmos3-H-Embodied-Nanoを基礎に、手術動画と運動学で双方向教師モデルへ適応学習し、Self-Forcing蒸留で4段階と2段階の因果生成学生モデルを分離訓練する。FlashDreamsとFadeMemで長い生成でも履歴キャッシュを圧縮し、低遅延のストリーミング推論を実現する。訓練は832対480画素動画と10ヘルツの28次元動作信号を用い、両腕の姿勢、鉗子、エネルギー制御、拇指操縦桿を条件に、組織伸長や反射変化、遮蔽、煙への反応を時間的に破綻なく再現することを目指す。開発者は同じ開始画像から仮想現実操作による異なる進行を生成でき、器械追従性や組織変形の連続性を検証できる。公開学習レシピにより他データやコントローラーへの転用も想定されるが、NVIDIAは臨床検証済み医療機器ではなく研究シミュレーターだと説明している。