2 个月前

卷积网格回归用于单图像人体形状重建

Kolotouros, Nikos ; Pavlakos, Georgios ; Daniilidis, Kostas
卷积网格回归用于单图像人体形状重建
摘要

本文探讨了从单张图像中估计三维人体姿态和形状的问题。以往的方法通常采用人体参数化模型SMPL,并尝试回归生成与图像证据一致的网格模型参数。然而,这种参数回归一直是一项极具挑战性的任务,基于模型的方法在姿态估计方面表现不如非参数化方法。在我们的研究中,我们提出减少对模型参数空间的依赖。尽管我们仍然保留了SMPL模板网格的拓扑结构,但不再预测模型参数,而是直接回归网格顶点的三维位置。对于典型的网络而言,这是一项艰巨的任务,但我们的关键见解是使用图卷积神经网络(Graph-CNN)可以显著简化这一过程。该架构使我们能够在网络中显式地编码模板网格结构,并利用网格提供的空间局部性。图像特征被附加到网格顶点上,而图卷积神经网络则负责在网格结构上处理这些特征,每个顶点的回归目标是其三维位置。一旦恢复了完整的三维几何结构,如果仍需要特定的模型参数化,则可以从顶点位置可靠地回归出这些参数。通过在网格顶点上附加不同类型特征,我们展示了所提出的基于图的网格回归方法的灵活性和有效性。在所有情况下,我们的方法均优于依赖模型参数回归的可比基线方法,并且在基于模型的姿态估计方法中达到了最先进的水平。