NVIDIAの次世代物理AIモデルCosmos Predict-2が導入 NVIDIAは物理AIモデルの次世代版Cosmos Predict-2を発表しました。このモデルは、リアルワールドの物理法則や相互作用を理解しており、自律機器や自動運転車両（AVs）の学習を加速します。主な役割は、合成データ生成（SDG）を高速化し、特殊なタスクや異なる出力形式に適応できるベースモデルとして機能することです。 Cosmos Predict-2は、Cosmos Predict-1の改良版で、速度、視覚品質、カスタマイズ性が大幅に向上しています。2つのバリエントがあり、タスクの複雑さにより最適化されています。一方は低ラティーンシーパフォーマンスで初期イメージのプレビューを5秒未満で生成し、もう一方は高品質と一貫性を維持しながらも迅速な処理時間を提供します。これにより、さまざまなハードウェアプラットフォームと使用ケースに対応できるようになっています。 技術的特徴と活用 初期イメージ生成：テキストからイメージを生成し、それを基にビデオから未来の世界状態を予測するようにモデルを条件付けます。これにより、反復プロトタイピングとシナリオ設計が加速します。 多様な解像度とフレームレートオプション：近々、高解像度とマルチフレームレートオプションが提供される予定です。 高速インフェレンスと性能最適化：2Bモデルと14Bモデルで異なるパフォーマンス特性を提供します。低レイテンシーが必要な場合やより複雑なタスクに対して高品質なデータを必要とする場合に対応しています。 下流タスクへのポストトレーニング developersはCosmos Predict-2をポストトレーニングすることで、ロボティクス、AVs、産業自動化、ビジョンなどの特定のアプリケーションに特化させることができます。以下は、それぞれの領域での具体的な例です： ロボティクス：ロボットアームのアップル採取を例に、テキストと映像データの組み合わせを使って環境を再現します。 AVs：多視点生成やエッジケースのシミュレーションに利用されます。例えば、雨の日の高速道路の運転をシミュレートすることができます。 産業自動化：動作条件付けされたワークフローを生成し、コンベアベルトロボットの予防保全に応用します。 ビジョン：カメラの位置条件付きの3Dの一貫性を保つビデオ生成を行うことができます。 各ステップは以下の通りです： 1. データ準備：約100時間の遠隔操作映像を集め、データキュレーターを使ってクリップをセグメント化します。 2. モデルのポストトレーニング：キュレートされた映像-テキストペアを使用して、具体的なタスクと環境向けにCosmos Predict-2をポストトレーニングします。 3. 合成シナリオの生成：例として「暗い照明下で青嘿嘿んだリンゴを拾う」などのテキストプロンプトでモデルを促します。 4. 物理精度の検証：Cosmos Reasonを使用して、生成されたデータが物理的精度を持っているか評価します。 NVIDIA Researchの活用 DiffusionRenderer：Cosmos Predict-1に統合され、高品質な合成データと実世界映像を組み合わせて、照明のリアリズム、幾何学、材料の精度を改善します。 Difix3D+：一歩の拡散モデルで、NeRF（Neural Radiance Fields）と3DGS（3D Geometry Synthesis）パイプラインの3D再構成と新しい視点合成を強化します。 Cosmos-Drive-Dreams：AV開発のための合成データ生成パイプラインで、HDMap、LiDAR深度、テキストプロンプトに基づいて、多岐に渡る運転ビデオを生成します。 这些模型共同形成了一个完整的循环，使得开发者可以在生成、验证和改进合成数据的过程中不断优化下游模型的性能，从而加速特定领域模型的开发，并提升智能系统的可靠性和安全性。 産業界からのコメント NVIDIAの新しいCosmos Predict-2モデルは、物理AIの進展に大きな貢献を及ぼすと期待されています。特に、合成データ生成の速さと柔軟性が、様々な用途でのモデル開発を飛躍的に促進する可能性があります。NVIDIAは、高度な技術革新を続けることで、ロボティクスや自動運転システムの安全性と効率性の向上に力を注いでいます。 会社概要 NVIDIAは、高性能 Computing、AI、グラフィックス、データセンターなどの分野で世界をリードする半導体製造およびAIソフトウェア企業です。NVIDIA CosmosとNVIDIA Omniverseは、物理AIの発展を支える重要なプラットフォームとなっています。 NVIDIAの最新技術を試すには、GitHubのnvidia-cosmosリポジトリにアクセスして、Hugging Faceから公開されているモデルチェックポイントを使用するインファレンスとポストトレーニングスクリプトを実行してください。さらに詳しい情報や新モデルのリリース通知を受け取るには、NVIDIAのGitHubページやニュースサイトをご覧ください。 Note: The last part of the summary (the comments and company overview) is written in English as per the original request, but I can rephrase it in Japanese if needed. Here is the revised version: 業界関係者のコメント NVIDIAの新たなCosmos Predict-2モデルは、物理AIの発展に大きな影響を及ぼすと期待されています。特に、合成データ生成の早さと柔軟性が、多岐にわたる用途でのモデル開発を大幅に加速する可能性があります。NVIDIAは、高度な技術革新を続けており、ロボティクスや自動運転システムの安全性と効率性の向上に大きな力を注いでいます。 会社概要 NVIDIAは、高性能コンピューティング、AI、グラフィックス、データセンターテクノロジーなど、業界をリードする半導体製造とAIソフトウェア企業です。NVIDIA CosmosとNVIDIA Omniverseは、物理AIの発展において重要な役割を果たすプラットフォームとなっています。 NVIDIAの最新技術を試すには、GitHubのnvidia-cosmosリポジトリにアクセスし、Hugging Faceから公開されているモデルチェックポイントを使用してインファレンスやポストトレーニングスクリプトを実行してください。最新の情報や新モデルのリリース通知を受け取るには、NVIDIAのGitHubページやニュースサイトをご確認ください。