Ego3DPose：从双目 egocentric 视角捕捉 3D 信息线索

我们介绍了Ego3DPose，这是一种高精度的双目以自我为中心的3D姿态重建系统。尽管双目以自我为中心的设置在各种应用中具有实用性和价值，但这一领域仍处于很大程度上未被充分探索的状态。由于视角畸变、严重的自遮挡以及以自我为中心的2D图像中关节视野有限，该系统的姿态估计精度一直较低。在此背景下，我们注意到双目以自我为中心输入中包含的两个重要3D线索——立体对应关系和透视——被忽视了。当前的方法主要依赖于2D图像特征，隐式地学习3D信息，这导致了对常见动作的偏差，并且整体精度较低。我们观察到，这些方法不仅在复杂的遮挡情况下表现不佳，而且在估计可见关节位置时也存在困难。为了解决这些问题，我们提出了两种创新方法。首先，设计了一种两路径网络架构，其中一个路径利用双目热图独立地估计每个肢体的姿态。通过不提供全身信息，这种方法减轻了对训练数据中全身分布的偏差。其次，我们利用身体肢体在以自我为中心视图中的强烈透视变化（例如，当手靠近相机时会显得显著较大）。为此，我们提出了一种基于三角学的新透视感知表示方法，使网络能够估计肢体的3D方向。最后，我们开发了一个端到端的姿态重建网络，将这两种技术结合起来。我们的全面评估表明，在UnrealEgo数据集中，Ego3DPose通过减少23.1%的姿态估计误差（即MPJPE）优于现有最先进模型。我们的定性结果进一步突显了我们的方法在多种场景和挑战中的优越性。