17 天前
HSPACE:在复杂环境中动画化的合成参数化人类
Eduard Gabriel Bazavan, Andrei Zanfir, Mihai Zanfir, William T. Freeman, Rahul Sukthankar, Cristian Sminchisescu

摘要
当前三维人体感知技术的前沿进展,受限于缺乏具备三维真实标注的视觉数据集,尤其在真实世界环境中,包含多个人体、动态运动、复杂光照或遮挡情况,并可能由运动相机进行观测的数据集尤为稀缺。实现复杂的场景理解,需要同时估计人体姿态、形状及手势,构建能够融合有用度量信息与行为特征,并支持自由视角、高度逼真视觉呈现的表征体系。为推动持续进步,我们构建了一个大规模、高度逼真的数据集——Human-SPACE(HSPACE),其中包含在复杂合成室内与室外环境中动画化的人体。该数据集融合了100位年龄、性别、体型比例和种族各不相同的人体,搭配数百种动作与场景,并引入参数化的人体形状变化(总计生成1600种不同个体),从而生成初始规模超过100万帧的动画序列。人体动画通过将一个富有表现力的人体模型GHUM拟合到单次人体扫描数据上获得,随后采用新颖的重定向与定位技术,实现着装人体的真实感动画生成、人体比例的统计性变化,以及多个人体在场景中运动时的协同一致布局。所有资产均可自动、大规模生成,并兼容现有的实时渲染系统与游戏引擎。该数据集连同评估服务器将向研究社区开放。我们对合成数据在结合真实数据与弱监督学习条件下所产生影响的大规模分析表明,该方法在提升数据质量、缩小“仿真到现实”(sim-to-real)差距方面具有巨大潜力,尤其在模型容量不断提升的背景下,展现出显著的应用前景。