使用调节的表达性身体协同回归

从图像中恢复具有表现力的人体对于理解人类行为至关重要。尽管估计3D身体、面部或手部的方法已经取得了显著进展，但这些方法通常是独立发展的。现有的面部方法可以恢复精确的3D形状和几何细节，但在极端视角和低分辨率情况下需要紧密裁剪且表现不佳。而全身方法在各种姿势和分辨率下都表现出较强的鲁棒性，但只能提供粗糙的3D面部形状，缺乏如皱纹等细节。为了结合两者的优点，我们引入了PIXIE，该系统可以从单张图像生成可动画化的、具有真实面部细节的全身3D虚拟形象。为此，PIXIE采用了两个关键观察结果。首先，现有方法通过同等信任来自身体、面部和手部专家的独立估计来组合这些信息。PIXIE引入了一种新颖的调节器，根据各专家的信心对特征进行加权融合。所有部分专家都可以利用SMPL-X（一种涵盖所有身体部位的共享形状空间）为整体做出贡献。其次，人体形状与性别高度相关，但现有工作忽略了这一点。我们在训练图像中标注了男性、女性或非二元性别，并训练PIXIE通过一种新的形状损失函数推断出“有性别特征”的3D身体形状。除了3D身体姿态和形状参数外，PIXIE还估计表情、光照、反照率以及3D面部表面位移。定量和定性评估表明，与当前最先进的方法相比，PIXIE能够更准确地估计全身形状和详细的面部形状。模型和代码可在以下网址获取：https://pixie.is.tue.mpg.de。