摘要
从单张单目图像中重建多人体网格是计算机视觉领域一个重要但极具挑战性的问题。除了个体人体网格模型外，还需估计各主体之间的相对三维位置关系，以生成一致连贯的多人体表示。在本工作中，我们提出一种名为MUG（Multi-hUman Graph network）的单一图神经网络，仅需输入多人的二维姿态信息，即可构建一致的多人体三维网格。与现有方法采用检测式流水线（即先提取图像特征，再定位人体实例并恢复体网格）不同，我们的方法克服了实验室采集的训练数据集与真实场景测试数据集之间显著的域差异问题。这是因为二维姿态在不同数据集间具有相对一致的几何特性，因而更利于泛化。我们的方法流程如下：首先，为建模多人环境，网络处理多人二维姿态，构建一种新型异构图结构，其中不同个体之间的节点以及同一人体内部的节点相互连接，以捕捉人与人之间的交互关系，并刻画人体几何结构（即骨骼与网格结构）。其次，采用双分支图神经网络架构：一个分支用于预测人与人之间的深度关系，另一个分支用于预测相对于根关节的网格坐标。最后，通过融合两个分支的输出，完成整个多人体三维网格的构建。大量实验表明，MUG在标准三维人体基准数据集（包括Panoptic、MuPoTS-3D和3DPW）上均显著优于现有的多人体网格重建方法。