高效的实现人类灵巧双手技能向机器人迁移一直是研究领域的难题。通研院等联合团队近日开源了 MANIPTRANS 框架及其配套的数据集，旨在解决这一问题。该框架通过分两阶段的学习方式，成功克服了形体差异和运动误差积累等挑战。 首先，研究团队设计了一个通用的“运动模拟器”（I），专注于模仿人类手部的基本运动轨迹，暂时忽略与物体的交互。通过利用大规模的动作捕捉（MoCap）手部运动数据和强化学习算法（PPO）进行预训练，“运动模拟器”能够掌握人类手部运动模式，有效地将人类运动意图映射到不同形态的机械手上，从而在很大程度上缓解形体差异带来的阻碍，提供了自然流畅的手部运动基础。 然而，仅依靠“运动模拟器”还不足以满足实际操作中的物理规则或无法有效抓取物体。因此，在第二阶段，MANIPTRANS 引入了残差学习（Residual Learning）策略。“残差模块”（R）负责学习必要的微调量来修正第一阶段的模型输出。这一模块可以接收更丰富的状态信息，包括物体的实时状态（姿态、速度、形状等）以及与之密切相关的接触力，基于这些交互信息，计算出对第一阶段模拟动作的必要调整。最终产出的动作不仅保持了自然流畅的特点，还能精准地抓住物体、施加合适的力并实现双手协调操作。李嘉诚博士表示：“通过不断改进残差策略，我们成功让左右灵活手实现了协同操作：左手取出笔帽，右手握住笔身，并将笔身自然流畅地插入笔帽中。这不仅需要精准的抓取能力，更重要的是双手之间的高度配合。这次的成功证明我们的 MANIPTRANS 方法在解决迁移过程中的问题是有效的，是我们项目的一个重要里程碑。” 这种将“运动模拟”与“交互精调”相结合的两段式设计，巧妙地将原本复杂的学习任务分解为两个相对简单的子任务，大幅度降低了需要探索的动作空间维度，显著提升了训练效率和最终表现的性能。这让 MANIPTRANS 能够高效地将复杂的双手机械技能从人类迁移到灵巧机器手，特别是以前难以处理的双人操作技能。 基于 MANIPTRANS，研究团队还构建了 DexManipNet 数据集，将多个代表性手-物交互数据集（如 FAVOR 和 OakInk-V2）转移到灵活手上。目前该数据集包含 3.3 万个机械手操作片段，覆盖 1.2 万个物体，总帧数达到 134 万，其中包括 600 个序列涉及复杂的双手任务，涵盖了 61 种不同类型的任务，如笔帽插入、瓶子开启化学实验操作。李嘉诚认为：“DexManipNet 作为当前支持复杂数任务数据量最大的数据集之一，我们有理由相信借助该数据集可以训练出多样化的机器人操作模型，在真实甚至真实的环境中实现更通用、更灵活、合作程度更高的灵巧手操作。” 业内人士对此给予了高度评价，认为 MANIPTRANS 和 DexManipNet 的推出不仅有助于推动机器人技能迁移的研究进展，还为实现更高精度和稳定性的机器人操作提供了坚实的基础。通研院是一家专注于先进机器人技术和智能系统研发的机构，长期致力于提高机器人在各行业的应用水平。