一、教程简介

ROCKET-2 是由 CraftJarvis 团队于 2025 年 3 月 21 日推出的跨视图目标对齐的视觉运动控制框架。专注于解决机器人领域中的复杂任务控制问题。该项目通过创新的多视角目标对齐技术，显著提升了视觉运动策略（Visuomotor Policy）在动态环境中的泛化能力与可控性。相关论文成果为「ROCKET-2: Steering Visuomotor Policy via Cross-View Goal Alignment」。

本教程采用资源为单卡 RTX 4090 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

若显示「Bad Gateway」，这表示模型正在初始化，由于模型较大，请等待约 1-2 分钟后刷新页面。

2. 进入网页后，即可与模型展开对话

使用步骤

1. 进入 Tutorial 查看教程指南

2. 进入 Customize Environment 选择你要加载的环境

3. 进入 Launch Rocket 加载环境

4. 进入 Specify Goal 选择目标点位和交互方式

5. 进入 Launch Rocket 的 Setting Panel 选择模型

6. 进入 Launch Rocket 的 Control Panel 设置推理步骤并进行推理

7. 将步骤 4-6 重复执行，直至推理过程完成。随后，进入 Record Video 模式创建并下载视频。该视频无法在线播放。

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@article{cai2025rocket,
  title={ROCKET-2: Steering Visuomotor Policy via Cross-View Goal Alignment},
  author={Cai, Shaofei and Mu, Zhancun and Liu, Anji and Liang, Yitao},
  journal={arXiv preprint arXiv:2503.02505},
  year={2025}
}