2 个月前

野生环境下的三维着衣人体重建

Moon, Gyeongsik ; Nam, Hyeongjin ; Shiratori, Takaaki ; Lee, Kyoung Mu
野生环境下的三维着衣人体重建
摘要

尽管在三维着装人体重建方面已经取得了很大进展,但大多数现有方法仍无法从野外图像中生成稳健的结果,这些图像包含多样的人体姿态和外观。这主要是由于训练数据集与野外数据集之间存在较大的领域差距。训练数据集通常是合成数据集,其中包含来自地面真实(GT)3D扫描的渲染图像。然而,与真实的野外数据集相比,这类数据集中的人体姿态较为简单,图像外观也不够自然,这使得将其泛化到野外图像上极具挑战性。为了解决这一问题,本文提出了一种名为ClothWild的三维着装人体重建框架,首次解决了在野外图像上的稳健性问题。首先,为了提高对领域差距的鲁棒性,我们提出了一种弱监督管道,该管道可以使用野外数据集的2D监督目标进行训练。其次,我们设计了一种基于DensePose的损失函数,以减少弱监督中的模糊性。我们在多个公开的野外数据集上进行了广泛的实证测试,结果表明所提出的ClothWild比最先进的方法产生了更准确和稳健的结果。代码可在以下链接获取:https://github.com/hygenie1228/ClothWild_RELEASE。

野生环境下的三维着衣人体重建 | 最新论文 | HyperAI超神经