基于单幅图像的多人相干重建

在本研究中，我们致力于解决从单张图像中进行多人三维姿态估计的问题。传统的自上而下的回归方法通常首先检测出所有的人体，然后独立地重建每一个人。然而，这种预测方法存在结果不一致的问题，例如人体之间的相互穿透和场景中人物深度顺序的不一致。我们的目标是训练一个单一网络，使其能够避免这些问题并生成场景中所有人物的连贯三维重建。为此，一个关键的设计选择是在我们的自上而下框架中引入SMPL参数化人体模型（SMPL parametric body model），这使得我们可以使用两种新颖的损失函数。首先，基于距离场的碰撞损失（distance field-based collision loss）用于惩罚重建人物之间的相互穿透。其次，深度排序感知损失（depth ordering-aware loss）考虑了遮挡问题，并促进了人物深度顺序的一致性，从而使得渲染结果与注释的实例分割相匹配。即使图像没有显式的三维注释，这种方法也能为网络提供深度监督信号。实验表明，我们的方法在标准三维姿态基准测试中优于先前的方法，而我们提出的损失函数则能够在自然图像中实现更加连贯的重建。项目网站包含视频、结果和代码，网址为：https://jiangwenpl.github.io/multiperson