使用可微语义渲染从图像回归人体模型的学习方法

从单目图像中回归3D人体形状和姿态（例如SMPL参数）通常在缺乏3D训练数据时利用2D关键点、轮廓和/或部位分割的损失函数。然而，这些损失函数存在局限性，因为2D关键点无法监督人体形状，而穿着衣物的人体分割与投影的最少着装SMPL形状不匹配。为了利用更多关于穿着衣物的人体图像信息，我们引入了更高层次的服装语义信息，以不同方式惩罚图像中的着装区域和非着装区域。为此，我们使用一种新颖的可微分语义渲染（Differentiable Semantic Rendering, DSR）损失函数来训练人体回归器。对于最少着装区域，我们定义了DSR-MC损失函数，该函数鼓励渲染的SMPL身体与图像中的最少着装区域紧密匹配。对于着装区域，我们定义了DSR-C损失函数，以促使渲染的SMPL身体位于衣物掩模内部。为了实现端到端的可微分训练，我们从数千个穿着衣物的人体扫描中学习了一个SMPL顶点的语义服装先验。我们进行了广泛的定性和定量实验，评估了服装语义对3D人体姿态和形状估计准确性的影响。我们在3DPW和Human3.6M数据集上的表现优于所有先前的最先进方法，并在MPI-INF-3DHP数据集上取得了相当的结果。代码和训练模型可在https://dsr.is.tue.mpg.de/ 获取用于研究目的。