HyperAIHyperAI

Command Palette

Search for a command to run...

RemoCap:用于运动捕捉的解耦表示学习

Hongsheng Wang∗1,2 Lizao Zhang∗2 Zhangnan Zhong2 Shuolin Xu2 Xinrui Zhou2 Shengyu Zhang1 Huahao Xu†3 Fei Wu1 Feng Lin2

摘要

从逼真的运动序列中重建三维人体模型仍然是一项挑战,主要是由于普遍存在且复杂的遮挡问题。当前的方法在捕捉被遮挡的身体部位的动力学方面存在困难,导致模型穿透和动作失真。RemoCap 利用了空间解耦(Spatial Disentanglement, SD)和运动解耦(Motion Disentanglement, MD)来克服这些限制。SD 解决了目标人体与周围物体之间的遮挡干扰问题。通过沿维度轴解耦目标特征,SD 根据每个维度中的空间位置对特征进行对齐,从而在全球窗口内隔离目标对象的响应,即使在存在遮挡的情况下也能实现准确的捕捉。MD 模块采用通道级时间混洗策略来模拟多样化的场景动力学。这一过程有效地解耦了运动特征,使得 RemoCap 能够以更高的保真度重建被遮挡的部分。此外,本文引入了一种序列速度损失,以促进时间连贯性。这种损失约束了帧间速度误差,确保预测的动作表现出真实的连续性。广泛的基准数据集上的对比实验表明,RemoCap 在三维人体重建方面优于现有的最先进方法(State-of-the-Art, SOTA)。在 3DPW 数据集上,RemoCap 超越了所有竞争对手,在 MPVPE(81.9)、MPJPE(72.7)和 PA-MPJPE(44.1)指标上取得了最佳结果。代码可在 https://wanghongsheng01.github.io/RemoCap/ 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RemoCap:用于运动捕捉的解耦表示学习 | 论文 | HyperAI超神经