17 天前

AdaFuse:面向野外环境的准确人体姿态估计的自适应多视角融合

Zhe Zhang, Chunyu Wang, Weichao Qiu, Wenhu Qin, Wenjun Zeng
AdaFuse:面向野外环境的准确人体姿态估计的自适应多视角融合
摘要

遮挡是野外环境下人体姿态估计面临的最大挑战之一。传统方法通常依赖于侵入式传感器(如惯性测量单元IMU)来检测被遮挡的关节点。为实现真正无约束的解决方案,我们提出AdaFuse——一种自适应多视角融合方法,能够通过利用可见视角中的特征来增强被遮挡视角的特征表示。AdaFuse的核心在于准确建立两个视角之间的点对点对应关系,我们通过挖掘热图表示的稀疏性特征,高效地解决了该问题。此外,我们为每个相机视角学习自适应融合权重,以反映其特征质量,从而降低优质特征被“劣质”视角特征不当干扰的风险。该融合模型与姿态估计网络端到端联合训练,可直接应用于新的摄像头配置,无需额外调整。我们在三个公开数据集(Human3.6M、Total Capture和CMU Panoptic)上进行了广泛评估,结果表明,该方法在所有数据集上均优于现有最先进方法。此外,我们还构建了一个大规模合成数据集Occlusion-Person,该数据集为图像中每个关节点提供了明确的遮挡标签,从而支持对遮挡关节点的定量评估。相关数据集与代码已开源,地址为:https://github.com/zhezh/adafuse-3d-human-pose。