NVIDIA、Cosmos 3 Edgeをエッジ向け公開
NVIDIAはオープンソースの世界モデル「Cosmos 3 Edge」をHugging Face上で公開した。同モデルは工場や倉庫、病院などの現場で動作する物理AIやロボットの視覚認識、リアルタイム推論、行動生成を目的として設計され、40億パラメータを誇りながらNVIDIA JetsonやRTX GPU、DGXプラットフォームをはじめとするエッジデバイス向けに最適化されている。メモリ制約下でもデータセンター級の推論性能を実現し、同規模モデルではVANTAGE-Benchで首位を記録する性能を達成した。 Cosmos 3 Edgeは言語・映像・音声・行動の情報を統合するマルチモーダルアテンション層を共有する二つのトランスフォーマータワーを採用し、状況の理解から未来の予測、行動の生成までの一貫した推論を可能にする。行動入力は幾何学的ベクトルとして表現され、ピクセルの変化と物理的な動作、空間関係を直接結びつける。これによりロボットの政策学習や制御精度が向上し、Jetson Thorでは1秒あたり15ヘルツのリアルタイム制御と32行動の生成を実現している。 公開に合わせ、DROIDデータセットを用いた把持・配置タスク向けのファインチューニングスクリプトや、推論ステップを35から4に圧縮し最大25倍の高速化を実現するチェックポイントも提供される。開発者はオープンフレームワークを活用して自社のドメイン特化データでモデルをカスタマイズし、エッジ端末にデプロイできる。 NVIDIAは今後、インタラクティブな世界生成や自動運転シミュレーション、ロボット政策の高度化を進めるとともに、vLLMをはじめとするオープン推論フレームワークとの連携やハードウェア最適化を推進。物理AIの実用化とエッジでのリアルタイム制御普及を加速させる方針だ。