2 个月前
RemoCap:用于运动捕捉的解耦表示学习
Wang, Hongsheng ; Zhang, Lizao ; Zhong, Zhangnan ; Xu, Shuolin ; Zhou, Xinrui ; Zhang, Shengyu ; Xu, Huahao ; Wu, Fei ; Lin, Feng

摘要
从逼真的运动序列中重建三维人体模型仍然是一项挑战,主要是由于普遍存在且复杂的遮挡问题。当前的方法在捕捉被遮挡的身体部位的动力学方面存在困难,导致模型穿透和动作失真。RemoCap 利用了空间解耦(Spatial Disentanglement, SD)和运动解耦(Motion Disentanglement, MD)来克服这些限制。SD 解决了目标人体与周围物体之间的遮挡干扰问题。通过沿维度轴解耦目标特征,SD 根据每个维度中的空间位置对特征进行对齐,从而在全球窗口内隔离目标对象的响应,即使在存在遮挡的情况下也能实现准确的捕捉。MD 模块采用通道级时间混洗策略来模拟多样化的场景动力学。这一过程有效地解耦了运动特征,使得 RemoCap 能够以更高的保真度重建被遮挡的部分。此外,本文引入了一种序列速度损失,以促进时间连贯性。这种损失约束了帧间速度误差,确保预测的动作表现出真实的连续性。广泛的基准数据集上的对比实验表明,RemoCap 在三维人体重建方面优于现有的最先进方法(State-of-the-Art, SOTA)。在 3DPW 数据集上,RemoCap 超越了所有竞争对手,在 MPVPE(81.9)、MPJPE(72.7)和 PA-MPJPE(44.1)指标上取得了最佳结果。代码可在 https://wanghongsheng01.github.io/RemoCap/ 获取。