Command Palette

Search for a command to run...

13 天前

NovaFlow:通过生成视频中的可操作流实现零样本操控

Hongyu Li Lingfeng Sun Yafei Hu Duy Ta Jennifer Barry George Konidaris Jiahui Fu

NovaFlow:通过生成视频中的可操作流实现零样本操控

摘要

使机器人能够零样本(zero-shot)执行新型操作任务,是机器人学领域的一个核心目标。现有大多数方法假设任务分布于训练数据范围内,或依赖于与具体机器人本体匹配的数据进行微调,从而限制了在不同平台间的迁移能力。本文提出 NovaFlow,一种自主操作框架,能够将任务描述直接转化为目标机器人可执行的行动规划,且无需任何示例演示。给定任务描述后,NovaFlow 首先利用视频生成模型合成一段视频,并通过现成的感知模块将该视频提炼为三维可操作物体运动流(3D actionable object flow)。基于该物体运动流,系统计算刚性物体之间的相对位姿,并通过抓取提议与轨迹优化将其转化为机器人动作。对于柔性物体,该运动流则作为基于粒子的动力学模型进行模型化规划的跟踪目标。通过将任务理解与底层控制解耦,NovaFlow 实现了对不同机器人本体的自然迁移。我们在桌面级 Franka 机械臂与 Spot 四足移动机器人上,对刚性、可动及柔性物体的操作任务进行了验证,均实现了无需演示或针对特定本体的训练即可有效完成零样本执行。项目主页:https://this-url.com

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
NovaFlow:通过生成视频中的可操作流实现零样本操控 | 论文 | HyperAI超神经