MIME：考虑人类感知的3D场景生成

生成由移动人类占据的真实3D世界在游戏、建筑和合成数据创建等领域具有广泛的应用。然而，生成这样的场景既昂贵又耗时。近期的研究工作已经能够在给定3D场景的情况下生成人体姿态和动作。本文则采取相反的方法，通过给定3D人体运动来生成3D室内场景。这些运动可以来自存档的动作捕捉数据或身体上佩戴的惯性测量单元（IMU）传感器，从而将人体运动转化为“扫描仪”，用于构建3D世界。直观来看，人体运动指示了房间中的空旷区域，而人体接触则指示了支持坐、躺或触摸等活动的表面或物体。我们提出了一种名为MIME（通过挖掘互动和运动推断3D环境）的方法，这是一种生成室内场景的模型，能够根据人体运动生成与之相匹配的家具布局。MIME采用了自回归变换器架构，该架构以场景中已生成的对象以及人体运动作为输入，并输出下一个合理的对象。为了训练MIME，我们通过在3D FRONT场景数据集中添加3D人物来构建数据集。实验结果表明，与一种不了解人体运动的最新生成场景方法相比，MIME能够生成更多样且更合理的3D场景。代码和数据将在 https://mime.is.tue.mpg.de 提供用于研究。