7 天前

PC-HMR:基于2D图像/视频的3D人体网格恢复姿态校准

Tianyu Luan, Yali Wang, Junhao Zhang, Zhe Wang, Zhipeng Zhou, Yu Qiao
PC-HMR:基于2D图像/视频的3D人体网格恢复姿态校准
摘要

端到端的人体网格恢复(Human Mesh Recovery, HMR)方法在三维人体重建任务中已取得显著成功。然而,大多数基于HMR的框架直接从图像或视频中学习网格参数,缺乏对视觉数据中三维人体姿态的显式引导,导致在处理复杂动作时生成的网格常出现姿态错误。为解决这一问题,本文提出利用三维姿态信息对人体现有网格进行校准。具体而言,我们设计了两种新颖的姿势校准框架——串行式PC-HMR(Serial PC-HMR)与并行式PC-HMR(Parallel PC-HMR)。通过以串行或并行方式融合先进的三维姿态估计算法与HMR框架,这两种方法能够借助简洁的姿势校准模块,有效修正人体现有网格的几何结构。此外,由于校准模块基于非刚性姿态变换设计,PC-HMR框架可灵活应对骨骼长度的变化,从而缓解校准后网格中可能出现的位置偏差问题。最终,我们的框架建立在数据驱动学习与几何建模的通用且互补的融合基础之上,通过即插即用的模块化设计,可高效适配基于图像或视频的人体网格恢复任务。更重要的是,该方法在测试阶段无需额外的三维姿态标注,显著降低了实际应用中的推理复杂度。我们在多个主流基准数据集(包括Human3.6M、3DPW和SURREAL)上进行了大量实验,结果表明,所提出的PC-HMR框架在各项指标上均达到了当前最优(State-of-the-Art, SOTA)水平。

PC-HMR:基于2D图像/视频的3D人体网格恢复姿态校准 | 最新论文 | HyperAI超神经