单目实时全身捕捉方法及其部件间相关性建模

我们提出了一种首个实现实时全身捕捉的方法，能够仅从单张彩色图像中同时估计人体、双手以及动态3D面部的形状与运动。该方法采用一种新型神经网络架构，高效利用了人体与手部之间的相关性，在保持高计算效率的同时实现精确建模。与以往工作不同，我们的方法在多个独立数据集上进行联合训练，这些数据集分别聚焦于手部、人体或面部，无需依赖同时标注所有身体部位的数据——这类数据的采集在多样性上极为困难。多数据集联合训练的可行性显著提升了模型的泛化能力。相较于早期基于单目图像的全身捕捉方法，我们的方法通过估计统计面部模型的形状、表情、反照率（albedo）和光照参数，能够重建更具表现力的3D面部几何结构与色彩信息。在公开基准测试中，本方法取得了具有竞争力的精度表现，同时显著提升了运行速度，并实现了更为完整的面部重建结果。