Command Palette
Search for a command to run...
展望智能体机器人:机器人系统的新纪元
展望智能体机器人:机器人系统的新纪元
摘要
GPT-6 Astra 的发布标志着机器人学中一种新范式的出现:智能体机器人。在数周之内,配备智能体框架的前沿模型已在许多具身基准上达到或超越了任务专用策略的表现。智能体机器人系统不再为每一类任务训练专用策略,而是将基础模型应用于开放世界的具身任务。它以闭环方式运行:观察环境、理解用户意图、对任务进行推理、调用技能与工具、验证结果并调整策略。尽管取得了这些进展,学界尚未就共同定义、可靠的评估框架或研究路线图达成共识。我们认为,由基础模型与具身框架共同实现的具身系统 2,构成了智能体机器人的决策核心。其核心挑战在于,在有限反应时间、机械限制、不可预测的环境变化以及不可逆后果等物理约束下,将通用推理转化为有效且可验证的动作。基于这一视角,我们提出了一个同时衡量模型能力与闭环系统性能的评估框架。此外,我们识别了从数字智能体迁移到物理智能体时仍然成立的原则,以及为实现可靠的物理自主所必须应对的挑战。在具身系统 2 和评估框架之上,我们设想了一条通向持续自主的研究路线图:即在从执行单个原语到履行常设职责的过程中,以逐步扩大的责任范围安全、可靠地完成工作的能力。
一句话总结
Grid Robotics 的研究人员设想以 Embodied System 2 为核心的智能体化机器人,该系统由基础模型和具身支架组成,并提出一个评估框架,既衡量模型能力,也衡量闭环系统性能,识别从数字智能体迁移到物理智能体的原则,并概述迈向持续自主的研究路线图。
核心贡献
- 将 Embodied System 2 定义为智能体化机器人的决策核心,由基础模型和具身支架实现,并将其置于包含 System 2 推理、System 1 技能和 System 0 低级控制的三层架构中。
- 提出一个评估框架,既衡量模型能力,也衡量闭环系统性能,评估推理如何在有限反应时间、机械限制、不可预测的环境变化和不可逆后果等物理约束下产生有效且可验证的动作。
- 识别从数字智能体迁移到物理智能体的原则,提出可靠物理自主面临的挑战,并概述迈向持续自主的研究路线图,优先事项包括真实机器人测试、时间约束下的具身原生推理,以及模型、支架、可用能力、评估条件、推理预算、响应时间和人工协助的标准化报告。
引言
机器人技术正从针对特定任务的学习策略和手工工程堆栈转向统一感知、语言和控制的视觉-语言-动作模型与世界-动作模型。然而,这些策略仍专门针对特定任务和具身形态,当场景或指令变化时,可靠泛化能力会下降;通用模型的最新结果表明,存在一种基于推理、工具编排和结果验证的替代性智能体化方法。关键差距在于,该领域缺乏对智能体化机器人的共同定义和可靠的评估框架,而物理环境削弱了使数字智能体成功的假设,包括直接状态访问、自动验证、充足数据、低成本重置和可逆动作。作者通过提出一个三层功能框架来应对这些挑战:System 2 作为将基础模型与具身支架相结合的决策核心,System 1 作为可调用技能,System 0 作为实时身体控制,同时提出九维评估框架和四级可委托工作阶梯。
方法
作者提出一种用于智能体化机器人的参考架构,将系统组织为三个功能角色:System 2 (S2)、System 1 (S1) 和 System 0 (S0),并由实时事件监视器提供支持。S2 充当决策核心,解释意图、推理目标、编排能力并验证结果。S1 提供感知、控制策略和运动规划等技能与可调用模块。S0 提供身体接口和本地实时控制。实时事件监视器以高频率运行,监视关键事件,必要时打断 S2,并在 S0 中触发即时安全反应。
如框架图所示:
S2 通过基础模型和具身支架实现。基础模型提供知识、理解和推理,而支架组装上下文并将决策转化为受约束、可观察和可验证的执行。支架由五个核心部分组成:上下文管理器、工具接口、规划器、记忆模块和验证器。
命令向下流动,证据向上流动,贯穿各系统。作者识别出 S2 到达身体的三种典型执行路径。
参见下图:
这些路径包括分层编排,即 S2 调用 S1 技能为 S0 生成控制目标;直接控制,即 S2 绕过 S1 通过动作接口直接控制 S0;以及代码即策略,即 S2 编写代码,由运行时解释器以 S1 的角色执行。
系统通过一个连续的智能体化循环运行,该循环由六个逻辑步骤组成:解释意图、决定如何继续、调用技能或工具、执行调用、根据证据验证结果,以及决定是继续、重新规划、请求澄清还是报告完成。为了在物理世界中可靠地运行,Embodied S2 需要八项核心能力。
参见下图:
知识、理解和推理主要存在于基础模型中。工具使用、记忆、跨具身、安全和效率来自基础模型与具身支架的集成。
与数字环境不同,物理世界施加严格的截止时间和不可逆的后果。作者引入上限扩展(capped scaling)概念来应对这一约束。
参见下图:
尽管前沿模型通常表现出能力随延迟单调递增的扩展特性,但 Embodied S2 必须在固定的决策截止时间内变得更有能力。在物理截止时间之后到达的决策通常无用或危险,因为情况已经发生变化。这要求模型简洁推理,并将快速循环委托给 S1 和 S0。
架构各层之间的时序要求差异很大,凸显了这种分工的必要性。
参见下图:
S0 身体控制以 1 到 20 毫秒(50 Hz 到 1 kHz)运行,S1 控制技能以 5 到 200 毫秒(5 到 200 Hz)运行。相比之下,直接使用的 S2 基础模型每次决策可能需要数秒,比它们所指挥的低级控制技能慢得多。这种差异凸显了智能体化机器人中上限扩展和高效系统设计的重要性。
实验
评估框架在九个维度上对比模型级和系统级评估,包括知识、理解、推理、工具使用、记忆、跨具身、安全、效率和成本以及用户意图,并提出支架卡以及实时时钟执行、独立验证和固定接口等原则。当前结果表明,带有工程支架的通用模型在较窄的模拟套件上可以匹敌或超过训练策略,但广泛基准仍远未解决,物理动作、证据处理、延迟和动作循环安全是主要弱点。报告的结果对支架、协议、工具可用性、预算和验证条件高度敏感,因此跨论文排名和可靠性声明尚不成立。本节总结,物理智能体需要重建基础,例如接地接口、校准验证器、具身数据引擎和贴合现实的模拟,并在实时执行和独立结果验证下进行评估。
具身支架通过五个核心组件为基础模型组织物理经验:上下文管理器、工具接口、规划器、记忆模块和验证器。每个组件解决一个不同的差距,例如压缩连续的世界、用户和身体状态;以可用的抽象暴露工具;适应长任务;在上下文窗口之外持久化状态;以及确认目标级成功。额外的增强强调具身数据生成和贴合现实的模拟,而不是依赖静态互联网语料库或未经验证的沙盒。上下文管理器将异构的世界、用户和身体状态压缩为有界且结构化的输入,而不是要求模型吸收原始连续观测。记忆必须在上下文窗口之外持久化,因为密集的多模态交互历史在几分钟内就超过典型容量。工具接口依赖于显式执行契约,例如单位、参考系、前置条件、效果和失败语义,以便物理动作保持明确定义。验证缩小了完成工具调用与实际目标实现之间的差距,因为仅完成并不意味着成功。具身数据引擎和贴合现实的模拟将训练和评估从静态互联网规模或沙盒假设中转移出来。
该映射将具身 S2 理解评估组织为不同的能力领域,每个领域配对评估目标和候选基准。它涵盖感知与语义、空间关系、物理状态、可供性、时间结构、任务与目标解释以及人类行为。候选基准是专门的,一些能力共享一个基准,若干目标强调具身特定或以交互为重点的理解。理解评估既包括场景感知能力,例如多模态语义和空间关系,也包括解释能力,例如可供性、事件、任务和人类行为。RoboBench 被列为多模态感知与语义以及可供性与交互可行性的候选基准。物理状态和机制通过 PhysBench 评估,事件和时间结构通过 EgoTaskQA 评估。
该表概述了具身推理能力及其评估目标,将每个能力与候选基准配对。这些能力范围从意图推断和歧义消除到主动感知和干预决策。该集合强调闭环、具身特定的推理,包括规划、空间搜索、技能编排和可执行动作生成。意图推断和歧义消除通过 Ask-to-Act 评估,目标是决定在行动前是否需要澄清。可执行动作推断关联多个候选基准,包括 RoboDojo、Robocurve 和 EmbodiedBench,用于在具身和几何约束下生成动作目标。
工具使用评估涵盖互补目标:将感知和控制原语组合成可执行程序,从高级家庭规划过渡到低级导航和操作,重用打包技能,以及跨具身操作机器人。所列基准的规模从数十个任务或项目到超过一千个任务不等,涵盖操作、家庭和多域机器人环境。CaP-Bench 目标是编写和运行在抽象、感知和执行反馈设置中组合感知与控制原语的程序。EmbodiedBench 涵盖从高级家庭规划到低级导航和操作,是所列最大的基准。EmbodiedSkillBench 通过比较原生控制、仅技能执行和智能体引导的重用,评估打包技能是否有助于通用智能体。RobotWorld 用交互预算和可执行成功检查测试机器人跨具身使用。
记忆基准评估多样化的具身记忆目标,包括物体、空间、时间、顺序、程序、容量、遮挡、跟踪和经验泛化。其规模从小型诊断任务集到数千个片段和问题不等,并涵盖模拟和真实世界环境。若干基准强调长时程或主动探索场景,而不是孤立的记忆探测。记忆评估涵盖多个方面,包括物体、空间、时间、顺序、程序、容量、遮挡、跟踪和经验泛化。基准规模从紧凑的任务套件到跨许多场景的数千个片段和问题不等。若干环境包括模拟任务、真实世界任务或两者兼有,包括长多阶段操作和主动探索。长时程评估出现在多个基准中,其中一个使用时程分割,从几十步到超过两千步。
评估设置将具身智能体支架与涵盖理解、推理、工具使用和记忆的基准组织相结合。支架验证五个组件:上下文压缩、基于契约的工具接口、规划、持久记忆和验证,而数据引擎和校准模拟支持具身训练和评估。理解和推理基准针对感知、物理状态、可供性、时间结构、意图推断、规划和可执行动作生成。工具使用和记忆套件评估将原语组合成程序、跨具身操作以及物体、空间、时间和程序回忆等多种长时程记忆方面。