几何姿态适配性：具有场景约束的3D人体姿态

尽管近年来取得了许多进展，但从单张图像中进行完整的人体姿态三维估计仍然是一个具有挑战性的任务。在本文中，我们探讨了利用场景几何的强先验信息可以提高姿态估计精度的假设。为了实证这一问题，我们构建了一个新的几何姿态适配性（Geometric Pose Affordance）数据集，该数据集包含多视角拍摄的人们与各种丰富三维环境互动的图像。我们使用了一套商用动作捕捉系统来收集姿态的金标准估计值，并构建了场景本身的精确几何三维CAD模型。为了将场景约束的先验知识注入现有的基于图像的姿态估计框架中，我们引入了一种新颖的基于视图的场景几何表示方法——多层深度图（multi-layer depth map）。该方法通过多命中光线追踪技术简洁地编码每个相机视角方向上的多个表面进入点和退出点。我们提出了两种不同的机制来整合多层深度信息以进行姿态估计：一是将其作为编码光线特征输入，用于将二维姿态提升至完整的三维；二是作为一种可微损失函数，鼓励学习模型生成几何上一致的姿态估计。实验结果表明，这些技术可以在遮挡和复杂场景几何的情况下显著提高三维姿态估计的准确性。