Command Palette

Search for a command to run...

12 天前

GigaBrain-0:基于世界模型的视觉-语言-行动模型

GigaBrain-0:基于世界模型的视觉-语言-行动模型

摘要

为通用机器人训练视觉-语言-动作(VLA)模型通常需要大规模的真实世界机器人数据,而这类数据的采集成本高昂且耗时漫长。物理数据采集的低效性严重制约了当前VLA系统在可扩展性与泛化能力方面的提升。为应对这一挑战,我们提出GigaBrain-0,一种基于世界模型生成数据(如视频生成、真实数据到真实数据的迁移、人类动作迁移、视角迁移、仿真到真实世界的迁移等)驱动的新型VLA基础模型。通过利用世界模型大规模生成多样化数据,GigaBrain-0显著降低了对真实机器人数据的依赖,同时提升了跨任务的泛化能力。我们的方法进一步通过引入RGBD输入建模与具身链式思维(Embodied Chain-of-Thought, CoT)监督机制,增强了策略的鲁棒性,使模型能够在任务执行过程中对空间几何、物体状态以及长时序依赖关系进行有效推理。这在灵巧操作、长时程任务和移动操作等真实场景中带来了显著的性能提升。大量实验表明,GigaBrain-0在面对外观差异(如纹理、颜色)、物体摆放方式及相机视角变化时,均展现出卓越的泛化能力。此外,我们还推出了GigaBrain-0-Small,一个经过优化的轻量级版本,可高效运行于NVIDIA Jetson AGX Orin等边缘设备上。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供