NVIDIAがCosmos 3対話型世界シミュレーション向けオープンモデル公開
NVIDIAは、対話型世界シミュレーション向けの開発プラットフォーム「NVIDIA Cosmos 3」に、オープンウェイトのチェックポイント4種を追加公開した。今回公開されたのは「Cosmos3-Nano-Transfer-Auto」「Cosmos3-Nano-Sim-Auto」「Cosmos3-Nano-Sim-Transfer」「Cosmos3-Nano-Sim-Bimanual」で、いずれもCosmos 3 Nanoを事後学習させたモデルである。訓練可能パラメータ数は16Bとされ、OpenMDW1.1の条件の下で商用・非商用利用が可能だ。 公開の目的は、ロボティクスと自動運転の開発に必要な合成データと対話型シミュレーション環境を提供し、行動方針の学習や評価を円滑にすることである。Transfer-Autoは、最大11台のカメラ映像とリダーデータを同期して生成し、道路構造や交通流、信号状態、外観を制御できる。研究者は環境条件を変えて学習データと評価データを増やし、既存のセンサー構成へ適応させることもできる。 Sim-AutoはTransfer-Autoを基盤に、駆動制御を入力として順次生成する対話型ストリーミング向けの軽量化版である。短い区間のカメラ映像とリダーを少量の生成ステップで続けられるため、長時間のインタラクティブ評価に向く。Sim-Transferは物理シミュレーターの状態や空間制御を受け取り、テキストによる外観指定を加えてカラー映像を生成する。シミュレーターは物理的な正確さを保ち、生成モデルは知覚観測を補う構成になる。 Sim-Bimanualは二腕ロボットの動作を直接受け取り、環境の変化を動画で予測する。YAMやAgiBotのような構成に対応し、画像と制御列を入力に視点変更と物体操作を切り替えた対話型シミュレーションができる。これらのモデルはCosmos 3のテキスト処理と映像生成を結合する基盤モデル群として公開され、OpenMDW1.1と再利用しやすい学習レシピが提供される。これにより、研究開発者は既存のシミュレーターや自律走行スタックに組み込み、モデル忠実性や限界を測りながら、行動方針学習と評価環境の改善を進められる。
