HyperAIHyperAI

Command Palette

Search for a command to run...

华为诺亚方舟实验室团队等提出新框架,融合机器人操作系统与大模型实现自然语言控制

华为诺亚方舟实验室与伦敦大学、达姆施塔特工业大学及苏黎世联邦理工学院的研究人员近日在《自然·机器智能》发表论文,提出一种结合大语言模型与机器人操作系统的新框架,旨在提升机器人理解自然语言指令并转化为实际执行动作的能力。该框架由克里斯托弗·莫尔及其团队开发,将用于处理文本的大语言模型与广泛使用的机器人操作系统深度整合,使机器人能像人类一样根据指令灵活调整行为。 在大语言模型处理用户指令后,系统会自动将抽象的自然语言(如“拿起绿色方块放到黑色架子上”)拆解为具体步骤,生成可执行计划。这一过程支持两种执行模式:一是直接生成可运行的内联代码,由大语言模型编写简短指令直接控制机器人;二是构建行为树,通过结构化决策序列规划动作,并在某一步失败时自动切换备选方案。此外,该框架具备自我学习能力,能通过模仿掌握新技能,并依据人类或环境反馈不断优化动作。 研究团队在多种真实场景下进行了广泛测试,包括长时序任务、桌面物品重组、动态优化及远程监控等。结果显示,该系统具备显著的鲁棒性、可扩展性和通用性,大多数机器人都能准确响应用户指令并成功完成任务。值得注意的是,所有实验均基于开源预训练的大语言模型,降低了技术门槛。 莫尔团队已将完整代码开源,供全球开发者使用。未来,该框架有望应用于更复杂的机器人平台及更动态的环境,并可能推动更多机器人控制软件与大模型融合的创新解决方案。这一突破标志着人工智能在具身智能领域迈出重要一步,为机器人真正融入家庭、办公及公共空间奠定了基础。

相关链接