1 个月前

BodyNet:三维人体形状的体积推断

Gül Varol; Duygu Ceylan; Bryan Russell; Jimei Yang; Ersin Yumer; Ivan Laptev; Cordelia Schmid
BodyNet:三维人体形状的体积推断
摘要

人体形状估计是视频编辑、动画和时尚行业中的一个重要任务。然而,从自然图像中预测三维人体形状极具挑战性,这主要是由于人体形态、着装和视角的变化等因素所致。先前解决这一问题的方法通常尝试在姿态和形状上应用某些先验来拟合参数化身体模型。在这项工作中,我们主张采用一种替代表示方法,并提出了一种名为BodyNet的神经网络,用于直接从单张图像推断体积人体形状。BodyNet是一种端到端可训练的网络,它受益于(i)体积3D损失,(ii)多视图重投影损失,以及(iii)2D姿态、2D身体部位分割和3D姿态的中间监督。我们的实验表明,每一种方法都能带来性能提升。为了评估该方法,我们将SMPL模型拟合到网络输出,并在SURREAL和Unite the People数据集上展示了最先进的结果,优于近期的方法。除了实现最先进性能外,我们的方法还支持体积身体部位分割。