ROCKET-2: 3Dゲームゼロショット転送
1. チュートリアルの概要

ROCKET-2 は、CraftJarvis チームによって 2025 年 3 月 21 日にリリースされた、クロスビュー ターゲット アライメント用の視覚モーション コントロール フレームワークです。ロボット工学分野における複雑なタスク制御問題の解決に重点を置いています。このプロジェクトでは、革新的なマルチビューターゲットアライメントテクノロジーを通じて、動的環境における視覚運動戦略(Visuomotor Policy)の一般化能力と制御性を大幅に向上させます。関連する論文の結果は以下の通りである。ROCKET-2: クロスビュー目標アライメントによる視覚運動ポリシーのステアリング”。
このチュートリアルでは、単一の RTX 4090 カードのリソースを使用します。
2. プロジェクト例

3. 操作手順
1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります
「Bad Gateway」と表示される場合、モデルが初期化中であることを意味します。モデルが大きいため、1〜2分ほど待ってページを更新してください。
2. Web ページに入ると、モデルと会話を開始できます。
利用手順
- チュートリアルガイドを表示するにはチュートリアルへ進んでください

- 環境のカスタマイズに入り、ロードしたい環境を選択します

- Launch Rocketのロード環境に入る

- 目標を指定し、ターゲットポイントとインタラクション方法を選択します

- Launch Rocketの設定パネルに入り、モデルを選択します

- Launch Rocketのコントロールパネルに入り、推論ステップを設定し、推論を実行します。

- 推論プロセスが完了するまで手順 4 ~ 6 を繰り返します。次に、ビデオ録画モードに入り、ビデオを作成してダウンロードします。このビデオはオンラインでは利用できません。

4. 議論
🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報
このプロジェクトの引用情報は次のとおりです。
@article{cai2025rocket,
title={ROCKET-2: Steering Visuomotor Policy via Cross-View Goal Alignment},
author={Cai, Shaofei and Mu, Zhancun and Liu, Anji and Liang, Yitao},
journal={arXiv preprint arXiv:2503.02505},
year={2025}
}