基于人体运动的场景合成

大规模捕捉人类运动并包含多样、复杂的场景虽然极具价值，但通常被认为成本过高。然而，人类运动本身包含了丰富的关于其所处和互动场景的信息。例如，坐着的人类暗示了椅子的存在，而他们的腿部位置进一步表明了椅子的姿态。在本文中，我们提出了一种基于人类运动合成多样化、语义合理且物理可信的场景的方法。我们的框架称为基于人类运动的场景合成（Scene Synthesis from HUMan MotiON, SUMMON），包括两个步骤。首先，使用我们新引入的接触预测器 ContactFormer 从人类运动中获取时间上一致的接触标签。在此基础上，SUMMON 然后选择与人类互动的物体并优化物理可信度损失；进一步地，它还会在场景中添加不与人类互动的物体。实验结果表明，SUMMON 能够合成可行、可信且多样的场景，并具有为社区生成大量人类-场景交互数据的潜力。