新可穿戴系统采集全身动作数据训练人形机器人

上海人工智能实验室、浙江大学与上海交通大学研究团队发布基于可穿戴系统采集的100小时人类活动数据集EgoExplorer，用于为机器人训练提供人类演示数据。该研究由周云松、蒋学坤等推进，成果以预印本形式公布。EgoExplorer硬件由头戴式GoPro HERO13、五枚VIVE Ultimate Tracker、带传感器的MANUS Metagloves或Wuji手套，以及定制支架和绑带组成，可同步记录第一人称视角视频、全身运动、手指关节动作和触觉信息，并附有任务步骤说明。团队提出Calibrate-Complete-Constrain运动重建流程，先校准人体几何与传感器安装偏置，再补全未直接测量的关节运动，最后以传感器数据、时间平滑性和身体结构约束进行校正。与更强基线相比，该方法将身体关键点误差降低71.9%，并提升手部稳定性与接触估计。团队还基于人类演示动作，在仿真中训练宇树Unitree G1人形机器人控制器，使其能连续跟随两段动作且不跌倒。尽管研究尚未展现精细物体操作、陌生任务泛化或实机部署能力，但EgoExplorer与相关算法可进一步用于仿真训练，为提升人形机器人移动与操作协同能力提供数据基础。