三种方法改进野生环境下的3D人体网格估计的3D伪GT

在野外恢复三维人体网格极具挑战性，因为野外（ITW）数据集仅提供二维姿态的真实值（GTs）。近年来，三维伪真实值（pseudo-GTs）被广泛用于训练三维人体网格估计网络，因为这些三维伪真实值在使用ITW数据集训练网络时能够提供三维网格监督。然而，尽管三维伪真实值具有巨大的潜力，但目前尚缺乏对其哪些因素能够产生更有益的三维伪真实值进行广泛分析的研究。本文提供了三种方法来获得对ITW数据集高度有益的三维伪真实值。主要挑战在于获取三维伪真实值时只能使用基于二维的弱监督。我们的三种方法分别从深度不确定性、弱监督的次优性和不合理的人体关节运动三个方面应对这一挑战。实验结果表明，仅通过重新使用我们新的三维伪真实值训练最先进的网络，就能显著提升其性能至更高水平，而无需复杂的附加技术。新的三维伪真实值已公开发布在 https://github.com/mks0601/NeuralAnnot_RELEASE。