HyperAIHyperAI

Command Palette

Search for a command to run...

多模态

ForceHarness:为冻结的前沿模型将力转化为动作与物理量

Ke Sun Kevin Yuchen Ma Yike Zhang Yanzhe Chen Mike Zheng Shou

摘要

前沿多模态模型现已能够根据图像对机器人进行零样本控制,但许多操作任务依赖图像无法呈现的接触力。将力引入仅提供 API 的冻结模型面临两个挑战。首先,接触状态的演化速度远快于 API 模型的决策速度,因此系统必须在模型之下对力进行闭环控制。其次,冻结模型无法直接理解原始力流,因此力必须以模型能够推理的形式返回。为此,我们提出 ForceHarness,一种使冻结模型无需演示或微调即可使用力的框架。在仅通过腕部传感器或关节力矩标定手部力之后,ForceHarness 针对第一个挑战采用自终止力原语,这些原语能够自主调节力,并在接触事件发生时返回结果。针对第二个挑战,物理转换层将每条力轨迹转换为带有不确定性的物理量,作为工具结果返回。为了在相同条件下将 ForceHarness 与专家力控制器和已学习策略进行评估,我们还构建了 HiddenPhys,一个包含七个任务、具有隐藏物理变量的 MuJoCo 基准。在没有腕部力传感器的真实机械臂上,ForceHarness 将 GPT-6 Astra 的零样本成功率从 3.3% 提升至 90.0%。在仿真中,它在公开的 ForceBench 套件上提升了 17.5 个百分点,在 HiddenPhys 上提升了 34.3 个百分点,在两个基准上均超过了基于演示训练的力感知策略,并在 HiddenPhys 上与手工编写的专家控制器表现相当。消融实验进一步表明,当获得物理量而非原始力值时,较小模型能够做出显著更好的决策。

一句话总结

新加坡国立大学 Show Lab 的研究人员提出 ForceHarness,一个 harness,使冻结的前沿模型无需演示或微调即可使用力,通过自终止力原语和物理转换层将力轨迹转换为带不确定性的物理量,将 GPT-6 Astra 的零样本成功率从 3.3%3.3\%3.3% 提高到 90.0%90.0\%90.0%,并优于学习到的力感知策略。

核心贡献

  • ForceHarness 被提出为一个三层 harness,结合力校准、自终止力原语和物理转换,使仅通过 API 访问的冻结多模态模型在没有演示或微调的情况下具备力驱动的操作能力。
  • HiddenPhys 被提出为一个七任务 MuJoCo 基准,具有隐藏物理变量和相同种子,包括专家力控制器和学习到的力策略,用于受控比较。
  • 实验表明,ForceHarness 在没有腕部力传感器的真实机械臂上将 GPT-6 Astra 的零样本成功率从 3.3% 提高到 90.0%,在 ForceBench 上增加 17.5 个百分点,在 HiddenPhys 上增加 34.3 个百分点,并且在 HiddenPhys 上与手工编写的专家控制器相当,同时在两个基准上超越在演示上训练的力感知策略。

引言

前沿多模态模型已经可以通过冻结的 API 零样本控制机器人,但现有 harness 主要帮助它们感知和移动,而不是对物理接触进行推理。许多操作任务,例如接合螺纹或按重量比较外观相同的瓶子,都依赖图像无法提供的力信号。先前的力感知方法要么需要演示和模型权重更新,要么暴露原始传感器读数和底层力控制代码,而没有校准的物理反馈。作者提出 ForceHarness,一个三层系统,结合力校准、自终止力原语和物理转换,使冻结模型无需任何任务特定的演示或训练即可使用腕部力。

数据集

作者提出 HiddenPhys,一个基于七个 robosuite/MuJoCo 操作任务构建的基准。它旨在补充 ForceBench 等公开的力基准。

  • 来源与组成:HiddenPhys 包含七个基于真实世界接触场景的任务:Weight、CoM、Wipe、Stack、Peg、Latch 和 Lock。
  • 隐藏变量模式:每个任务隐藏一个决定成功与否的物理变量。指令给出隐藏变量的范围,但具体值从回合种子中抽取,因此所有方法看到相同的回合。
  • 观察与处理:Panda 机械臂使用操作空间控制。力是带有加性噪声和每个回合偏置的腕部传感器读数。为了将力与视觉感知隔离,冻结模型以带噪声文本而不是图像的形式读取物体位姿。
  • 规模与参考:每个任务都有一个手工编写的专家力控制器和一个不使用力、仅按位置移动的控制器。学习型参考包括 Diffusion Policy 和 π0.5,各自在有和没有力输入的条件下训练,另加一个多任务 ForceVLA 变体。学习策略在每个任务上使用约 200 条专家演示训练。本摘录中未指定单独的验证划分或混合比例。
  • 用途:该基准用于训练和比较力感知策略,同时报告成功率和损坏情况。当手柄上的力超过任务特定的损坏阈值时,即计为损坏。

方法

作者设计了 ForceHarness,一个连接冻结的前沿模型与机器人操作臂的中间件框架。由于该模型通过 API 运行,并且每个决策需要几秒钟,系统以两种不同的速率处理力反馈:原语内部的高频接触控制,以及通过工具结果进行的低频决策。该架构由三个不同的层组成,如下图所示:

底层处理力感知与校准,提供施加在机器人手上的环境力 FFF 的校准估计。当腕部力/力矩传感器不可用时,系统根据扭矩控制机械臂估计的外部关节力矩 τext\tau_{\mathrm{ext}}τext​ 恢复力。它通过最小二乘法求解法兰处的力旋量 www,然后移除零点偏置 bbb 来计算力:

w=(J⊤)+τext,F=−(wF−b)w = (J^\top)^+ \tau_{\mathrm{ext}}, \qquad F = -(w_F - b)w=(J⊤)+τext​,F=−(wF​−b)

其中 JJJ 是法兰雅可比矩阵,wFw_FwF​ 是 www 的力分量。为了缓解零点的缓慢漂移,该层控制何时读取数据,而不是依赖滤波。它在静止时去皮,在每次空手原语前重新归零 bbb,并在机械臂稳定后对短窗口内的力取平均。系统报告相对于同一回合中参考值的力变化,确保模型比较相对读数而不是信任绝对值。

中间层由一组自终止力原语组成。这些原语将接触技能封装成工具,模型可调用这些工具并传入运动方向和目标力等参数。由于大多数机械臂接受位置目标而不是直接力指令,原语利用机械臂自带的阻抗控制器,该控制器相当于手与目标位姿之间的弹簧。原语允许目标位姿 p∗p^*p∗ 领先于测量位姿 ppp,从而施加力 −F-F−F:

−F≈K(p∗−p),∥p∗−p∥≤L-F \approx K(p^* - p), \qquad \|p^* - p\| \leq L−F≈K(p∗−p),∥p∗−p∥≤L

其中 KKK 是控制器刚度,LLL 限制最大力。所有原语共享一个控制回路。为了沿方向 uuu 保持目标力 FdF_dFd​,控制律通过导纳控制将力误差转换为目标速度:

v=clip(kf(Fd−Fu),±vmax⁡),Δp∗=uvΔtv = \mathrm{clip}\big(k_f(F_d - F_u), \pm v_{\max}\big), \quad \Delta p^* = u v \Delta tv=clip(kf​(Fd​−Fu​),±vmax​),Δp∗=uvΔt

其中 FuF_uFu​ 是沿 uuu 方向的反作用力。关键在于,这些原语是自终止的。原语不是按固定时间运行,而是在检测到接触事件、达到目标或触及安全上限时立即停止。这种分工使决策较慢的模型能够将精确的时序和底层控制委托给原语。

顶层是物理转换层,它将原语记录的原始力轨迹转换为可解释的物理量,并给出传播的不确定性。由于冻结模型缺乏解析原始力数据的能力,该层使用基于均值和最小二乘拟合的简单固定估计器。例如,负载质量 mmm 和摩擦系数 μ\muμ 按下式推导:

m=∣Fˉz∣/g,σm=sz2/n+σb2/gm = |\bar{F}_z| / g, \quad \sigma_m = \sqrt{s_z^2 / n + \sigma_b^2} / gm=∣Fˉz​∣/g,σm​=sz2​/n+σb2​​/g μ=∣Ft∣‾/Fˉn,(σμ/μ)2=(σt/∣Ft∣‾)2+(σn/Fˉn)2\mu = \overline{|F_t|} / \bar{F}_n, \quad (\sigma_\mu / \mu)^2 = (\sigma_t / \overline{|F_t|})^2 + (\sigma_n / \bar{F}_n)^2μ=∣Ft​∣​/Fˉn​,(σμ​/μ)2=(σt​/∣Ft​∣​)2+(σn​/Fˉn​)2

其中 szs_zsz​ 是竖直力的样本标准差,σt\sigma_tσt​ 和 σn\sigma_nσn​ 是切向力和法向力的标准误差。该层去除零点偏置和被保持的负载,隔离出某个量具有单一物理意义的特定窗口。它返回这些值以及不确定性 σ\sigmaσ 和状态标志,并有意省略任务特定的阈值,使模型对下一步动作保留完整判断权。

在操作循环中,模型读取指令、工具菜单、调用历史和最新的转换观测,输出单个工具调用。原语执行并终止后,其转换后的物理量作为工具结果返回。模型随后评估结果,例如判断零件是否成功就位,并选择下一个工具调用,直到回合结束。在整个过程中,原语下方的固定保护层对力、速度和工作空间施加严格限制,无论模型发出什么命令都能确保安全。

实验

评估覆盖没有腕部力传感器的真实 Franka FR3、公开的 ForceBench 套件和 HiddenPhys 基准,将 ForceHarness 与不使用力的控制方法和训练策略进行比较。真实机器人实验表明,力反馈能够实现可靠的接触操作,并让模型推断质量和刚度等不可见属性;ForceBench 则证实,增益主要出现在细微阻力决定成败的任务中。HiddenPhys 结果表明,ForceHarness 达到与手工编写专家相当的水平,并具有安全的力处理能力,在分布偏移下保持鲁棒,而学习策略则表现挣扎并经常损坏手柄。消融实验将收益归因于用于安全接触的自终止力原语、面向较小模型的由 harness 计算的物理量,以及用于失败后适应的逐轮反馈。

十二个力原语将接触技能组织为五组,涵盖接近与接触、保持力、搜索与就位、负载下转动以及测量。它们返回简洁的物理量,而不是原始传感器轨迹,帮助语言模型做出更安全、更有效的接触决策。实验表明,这些原语在不同模型和任务上提高了任务成功率、减少了硬件损坏并降低了成本。原语通过在限幅条件下让目标位姿领先于测量位姿来施加力,从而限制力并保持底层机器人控制不变。仅使用自终止原语就能提高接触任务成功率并大幅减少手柄损坏,即使没有力轨迹反馈。返回由 harness 计算的物理量,而不是原始样本或力曲线图,可提高较小语言模型的决策准确率和成功率。力接口大幅提高了单次程序性能,逐轮反馈通过失败后的适应带来进一步收益。

HiddenPhys 是一个七任务操作基准,每个任务隐藏一个决定成败的物理变量,例如物体质量、质心、表面高度或机构刚度。这些任务需要力感知来测量保持负载、施加有界接触力、通过触摸进行搜索并避免损坏。隐藏值按回合从给定范围中抽取,基准为这些任务配备参考控制器和学习策略。七个任务分为判断保持负载、寻找不确定表面以及通过触摸操作机构。力要求包括测量负载属性、在安全力带内按压、感受接触或掉落以及将手柄力限制在阈值以下。

添加 ForceHarness 后,真实机器人的成功率相比不使用力的基线大幅提升。不使用力的基线在接触任务上表现挣扎,并且在按重量分拣瓶子和软硬判别任务上完全失败;ForceHarness 在所有任务上取得高成功率,并能迁移到第二个模型。在所有六个任务上,ForceHarness 将 GPT-6 Astra 从 60 个回合中成功 2 个提高到 54 个。没有力时,模型在按重量分拣瓶子和区分软硬上得分为零;使用 ForceHarness 后,两个测试模型在这些非视觉任务上达到或接近满分。

使用 ForceHarness 的零样本模型大幅优于所列最强的训练 ForceBench 策略,Astra 和 Sol 达到 87.5%,Fable 达到 75.0%,而最强训练基线为 35.31%。不使用力的零样本基线已经超过该训练基线,因此模型能力、harness 和指令在力反馈之外也有贡献。在 harness 内部,力反馈产生的成对增益主要出现在 Drawer Pull 上,成功率从零提高到满分。使用 ForceHarness 的零样本模型大幅超过所列最强的训练 ForceBench 基线。力反馈主要改善 Drawer Pull,将得分从 0/10 提高到 10/10,而其他任务在 10 个回合中未能拉开差距。不使用力的零样本基线已经优于所列最强的训练基线,表明力不是唯一因素。

在 HiddenPhys 上,使用 ForceHarness 的力感知模型达到接近专家的成功率并避免手柄损坏,与手工编写的力控制器非常接近。学习策略和仅位置策略得分较低,并且经常损坏手柄;向学习策略添加被动腕部力并不能持续提高成功率或安全性。在隐藏范围发生偏移的情况下,力感知模型的性能下降幅度小于不使用力和学习的基线,并且与固定阈值专家保持一致。ForceHarness 将模型成功率提高到接近专家水平,并消除手柄损坏;学习策略仍然较低并表现出频繁损坏。向学习策略添加腕部力没有带来持续收益,这表明仅靠被动力条件化不能教会模型主动探测或安全限力。在分布偏移下,ForceHarness 模型的相对下降幅度小于不使用力的基线,并且与固定阈值专家非常接近。

在真实机器人和基准评估中,具有十二个自终止力原语的 ForceHarness 接口在接触密集型操作任务、带有隐藏物理变量的 HiddenPhys 任务以及零样本模型与训练策略的对比上进行了测试。实验表明,从 harness 返回紧凑的物理量能够提高任务成功率、减少硬件损坏,并实现按重量分拣或软硬判别等非视觉能力。使用该 harness 的零样本模型优于训练基线,力反馈主要帮助抽屉拉动等任务,而仅靠被动腕部力并不能提供持续的安全性或成功提升。在 HiddenPhys 上,力感知模型达到专家级成功率,避免手柄损坏,并在偏移条件下比不使用力或学习策略具有更好的泛化能力。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供