一句话总结

Ropedia 的研究人员提出了 DONIC，这是首个跨操作类别和人体运动来源联合训练的通用双手跟踪器，同时提出了 BiHOI，一个包含 1,575 个序列、涵盖 229 个物体的多视角数据集；DONIC 将近端策略优化与行为克隆、以物体为中心的逐手奖励以及片段中心优势相结合，在训练物体的未见轨迹上达到 86.79% 成功率，在保留物体上达到 57.32%，分别比最先进的双手跟踪基线高出 77.36 和 45.73 个百分点。

核心贡献

• 本文介绍了 BiHOI，一个多视角双手手物交互数据集，包含 1,575 个序列、涵盖 229 个物体，其中重建的交互被重定向为机器人运动参考。
• 本文提出了 DONIC，一个跨操作类别和人体运动来源联合训练的通用双手跟踪器；它结合了近端策略优化与行为克隆的反馈循环、以物体为中心的逐手奖励以及片段中心优势，以协调逐手接触角色。
• 结果表明，单个 DONIC 检查点在训练物体的未见轨迹上达到 86.79% 成功率，在保留物体上达到 57.32%，分别比双手跟踪基线高出 77.36 和 45.73 个百分点。

引言

灵巧双手操作对家庭辅助、工业装配和辅助护理很重要，因为许多日常任务需要一只手稳定物体，另一只手打开、旋转或重新放置物体。此前的参考跟踪器主要关注单手控制，而具有完整跟踪、持续双手接触的公开双手数据集仍然稀缺。共享双手训练也很困难，因为策略必须处理变化的角色、异步接触时机和不同的片段难度，同时不能掩盖任何一只手的进展。作者用 DONIC（一个跨操作类别和人体运动数据集训练的通用双手参考跟踪器）和 BiHOI（一个多视角手物交互数据集）来解决这些空白。其以物体为中心的逐手奖励和片段中心优势使单个检查点无需微调即可泛化到未见轨迹和物体，大幅优于经过适配的双手基线。

数据集

作者介绍了 BiHOI，一个多视角双手手物交互数据集，旨在扩展有限的双手训练数据。

• 采集设置：使用 32 台经过标定的 RGB 相机围绕桌面工作空间录制，分辨率为 1920×1232，帧率为 30 fps。标定提供了统一的公制坐标系。
• 数据集组成：包含 1,575 个交互序列、229 个物体和 14.77 小时唯一交互。物体包括家居用品、容器、餐具、工具和电子产品。交互是自然的而非固定模板，涵盖对称双手操作、非对称双手协调以及协调的多物体操作。
• 双手强调：在至少一只手接触的帧中，65.91% 的帧有双手接触，作者报告这一比例高于分析过的公开子集 H2O 的 38.57%。
• 物体重建：SAM3 提供物体掩码；多视角 Depth Anything 3 提供公制对齐的深度；MV-SAM3D 重建规范物体网格；FoundationPose 使用多视角位姿一致性恢复 6 自由度物体运动。
• 手部重建：针对每位参与者的 MANO 形状由三角化关键点标定。WiLoR 提供逐视角手部观测，这些观测经过三角化、时间平滑，并以固定形状拟合到 MANO 模型。结合多视角深度的联合优化生成双手 MANO 参数、公制物体网格和 6 自由度物体轨迹。
• 重定向：人体运动通过逐帧运动学拟合映射到 Wuji 机器人手。腕部坐标系被对齐，手部关键点在关节限制下拟合到机器人连杆，每一帧都以上一解初始化并进行正则化。生成的腕部和手指参考与物体轨迹配对。
• 使用方式：数据集为双手训练提供配对的机器人手和物体参考。所提供的章节未指定训练/验证划分或混合比例。

方法

作者介绍了 DONIC，一个旨在跨不同操作类别和人体数据来源学习通用双手跟踪器的框架。为了构建全面的训练池，他们利用 BiHOI 数据集以及公开数据集。多视角录制首先使用深度和位姿估计的基础模型重建为公制手物轨迹，然后通过逐帧拟合重定向到机器人运动学。

如下图所示：

控制系统的核心是一个同时管理两只机器人手的单一随机策略。该策略基于一个观测空间预测对即将到来的参考目标的有界修正，该观测空间拼接了逐手本体感知、物体位姿和速度、参考目标、状态误差以及几何形状编码。这些预测修正被加到下一参考上，并被限制在关节限制内，以生成比例-微分控制目标，确保修正在每一步都锚定到参考而不累积误差。控制目标表示为：

$$\boldsymbol{q}_t^{\text{pd}} = \text{clamp}(\hat{\boldsymbol{q}}_{t+1} + \boldsymbol{s} \odot \boldsymbol{a}_t, \boldsymbol{q}_{\text{min}}, \boldsymbol{q}_{\text{max}})$$qtpd​=clamp(q^​t+1​+s⊙at​,qmin​,qmax​)

其中 $\boldsymbol{s}$s 设置修正范围，$\odot$⊙ 表示逐元素乘法，clamp 函数施加坐标限制。

为了确保物理交互和成功的物体操作，作者设计了以物体为中心的逐手奖励。该奖励结构优先跟踪物体运动，仅在参考要求时监督手部接触。物体跟踪项惩罚位置、方向和线速度误差，有效防止运动参考下的静止解。对于接触监督，系统评估所需指尖的距离和模拟接触力。这些接触和保持奖励通过固定权重在参与的手上聚合。这种聚合确保异步接触角色得到适当支持，并避免在参考释放期间奖励附着。最终奖励将这些信号与标准手部跟踪项结合，使用总和为一的非负系数。

该策略使用近端策略优化和行为克隆的迭代循环进行训练。在 PPO 更新期间，共享批次混合了不同的接触模式和协调需求，这可能导致不同参考片段之间的评论家准确率不均衡。为了解决这个问题，作者引入了片段中心优势。标准广义优势估计可能留下依赖片段的偏移，从而不公平地惩罚困难片段。通过减去每个参考片段的平均优势，该方法保留了片段内优势差异，同时去除了常见的经验偏移。中心化优势计算如下：

$$\tilde{A}_j = A_j^{\text{GAE}} - \frac{1}{|\mathcal{G}_{m(j)}|} \sum_{k \in \mathcal{G}_{m(j)}} A_k^{\text{GAE}}$$A~j​=AjGAE​−∣Gm(j)​∣1​k∈Gm(j)​∑​AkGAE​

其中 $\mathcal{G}_{m(j)}$Gm(j)​ 按参考身份对转移进行分组。该调整仅作用于策略学习信号，不修改奖励或评论家回归目标。

最终的 actor 目标将使用这些中心化优势的 PPO 损失与基于经过验证的成功演示库的行为克隆回归损失相结合。联合目标定义为：

$$\mathcal{L}_{\text{actor}}(\boldsymbol{\theta}) = \mathcal{L}_{\text{PPO}}(\boldsymbol{\theta}; \tilde{A}) + \lambda \mathbb{E}_{(\mathbf{o}^D, \mathbf{a}^D) \sim \mathcal{D}} \| \mu_\theta(\mathbf{o}^D) - \mathbf{a}^D \|_2^2$$Lactor​(θ)=LPPO​(θ;A~)+λE(oD,aD)∼D​∥μθ​(oD)−aD∥22​

其中 $\lambda$λ 加权行为克隆分量，期望对采样的演示对取平均。这种组合方法使策略能够同时从模拟交互和经过验证的专家动作中学习，从而无需微调即可跟踪未见轨迹和物体。

实验

实验在未见轨迹和未见物体的保留划分上评估双手操作跟踪，使用公开双手数据集，并在相同协议下将 DONIC 与 DexTrack-bi 和 Dexplore-bi 进行比较。结果表明，DONIC 无需微调即可泛化，并持续提高双手成功率、完成率和手物跟踪性能，尤其是通过协调双手而不是依赖单手准确率。消融实验确认，接触一致性对齐和接触所有权门都对联合双手执行有贡献，添加 BiHOI 数据进一步提高了所有测试条件下的表现。

BiHOI 引入了一个多视角 RGB 数据集，包含 1,575 个交互序列、涵盖 229 个物体。其决定性特征是持续的双手接触，65.91% 的接触帧涉及双手，而次高的已分析公开数据集为 38.57%。这种对同时双手交互的强调使 BiHOI 区别于帧数或物体数更多的数据集。BiHOI 在已分析数据集中记录了最高的双手接触率，比每个公开对比至少高出 27 个百分点。尽管物体数少于 HOI4D、帧数少于 GigaHands，BiHOI 优先覆盖 229 个物体的双手交互。

单个 DONIC 检查点无需微调即可改善两个保留划分，获得远高于基线的成功率和完成率。它还降低了大多数跟踪误差，唯一的例外是未见轨迹上的物体旋转。消融实验显示，两种学习信号都有助于联合双手成功率和完成率，而添加所有可用的双手序列进一步改善了每个报告的指标。DONIC 在未见轨迹和未见物体划分上均大幅提高了相对 DexTrack-bi 和 Dexplore-bi 的成功率和完成率。移除 CCA 或接触所有权门会降低两个划分上的成功率和完成率，而添加所有 BiHOI 序列则改善了跨两个划分的全部七个指标。

实验首先将 BiHOI 与现有数据集进行比较，然后在保留的未见轨迹和物体划分上评估 DONIC。BiHOI 因其高双手接触率而突出，65.91% 的接触帧涉及双手，尽管物体或帧数较少，仍远超其他数据集。DONIC 无需微调即大幅提高了相对 DexTrack-bi 和 Dexplore-bi 的成功率和完成率，消融实验显示 CCA 和接触所有权门都有贡献，而添加所有 BiHOI 序列改善了每个报告的指标。