利用外部弱监督在野外估计自中心3D人体姿态

使用单个鱼眼相机进行以自我为中心的3D人体姿态估计最近引起了广泛关注。然而，现有的方法在处理野外图像的姿态估计时面临困难，因为大规模的野外以自我为中心的数据集不可获得，这些方法只能基于合成数据进行训练。此外，当身体部位被周围场景遮挡或与之互动时，这些方法容易失败。为了解决野外数据不足的问题，我们收集了一个名为“野外以自我为中心姿态”（Egocentric Poses in the Wild, EgoPW）的大规模野外以自我为中心的数据集。该数据集通过头戴式鱼眼相机和辅助外部相机捕捉，后者在训练过程中提供了从第三人称视角对人类身体的额外观察。我们提出了一种新的以自我为中心的姿态估计方法，该方法可以在新数据集上利用较弱的外部监督进行训练。具体而言，我们首先通过结合外部视角监督的空间-时间优化方法生成EgoPW数据集的伪标签。然后，这些伪标签用于训练一个以自我为中心的姿态估计网络。为了促进网络训练，我们提出了一种新颖的学习策略，即利用预训练的外部视角姿态估计模型提取的高质量特征来监督以自我为中心的特征。实验结果表明，我们的方法能够从单张野外以自我为中心的图像中预测出准确的3D姿态，并且在定量和定性方面均优于现有最先进的方法。