Lujie Yang Xiaoyu Huang Zhen Wu Angjoo Kanazawa Pieter Abbeel Carmelo Sferrazza et al

摘要

目前教授人形机器人复杂技能的一种主流范式是将人类运动数据重定向为运动学参考，用于训练强化学习（RL）策略。然而，现有的重定向流程通常难以克服人类与机器人之间显著的本体差异，导致生成物理上不合理的伪影，例如脚部滑动和穿透等问题。更重要的是，常见的重定向方法忽视了人类与物体、人类与环境之间丰富的交互关系，而这些关系对于实现富有表现力的运动能力以及运动操控（loco-manipulation）至关重要。为解决上述问题，我们提出 OmniRetarget——一种基于交互网格（interaction mesh）的数据生成引擎，能够显式建模并保留智能体、地形与操作物体之间的关键空间关系与接触关系。通过最小化人类与机器人网格之间的拉普拉斯形变，同时施加运动学约束，OmniRetarget 能够生成运动学上可行的运动轨迹。此外，通过保留任务相关的交互信息，该方法实现了高效的样本增强：仅需一次示范，即可生成适用于不同机器人本体、地形条件及物体配置的多样化数据。我们通过将 OMOMO、LAFAN1 以及我们自建的动捕（MoCap）数据集中的运动数据进行重定向，对 OmniRetarget 进行了全面评估。所生成的轨迹总时长超过 8 小时，在满足运动学约束和接触关系保持方面，均优于广泛使用的基线方法。这些高质量数据使得仅使用 5 个奖励项、并采用所有任务共享的简单领域随机化策略（无需学习课程设计），便能训练出具备本体感知能力的强化学习策略，成功在 Unitree G1 人形机器人上执行长达 30 秒的长时程障碍跑（parkour）与运动操控任务。