摘要
我们提出了一种用于\emph{单目图像中完全自动的二维和三维人体感知}（DMHS）的深度多任务架构，包括\emph{识别和重建}。该系统计算前景-背景分割，以像素级别语义识别人体部位，并估计人的二维和三维姿态。通过多任务损失函数，模型支持所有组件的联合训练，其中早期处理阶段递归地为后续更复杂的计算提供输入，从而提高准确性和鲁棒性。设计允许我们利用多个数据集来构建完整的训练协议，这些数据集在单独使用时只能覆盖模型的部分组件：例如，复杂但没有身体部位标注且缺乏相关三维真实数据的二维图像数据，或者具有有限二维背景变化性的复杂三维数据。基于几个具有挑战性的二维和三维数据集（LSP、HumanEva、Human3.6M），我们在详细的实验中评估了模型的子结构以及不同类型训练数据在多任务损失中的影响，并展示了在所有处理层级上都能达到当前最佳的结果。此外，我们还证明了在实际应用中，我们的单目RGB架构在感知效果上可以与基于RGB-D数据的最先进（商业）Kinect系统相媲美。