2 个月前

LInKs “提升独立关键点” -- 部分姿态提升用于处理遮挡并提高2D-3D人体姿态估计的准确性

Peter Hardy; Hansung Kim
LInKs “提升独立关键点” -- 部分姿态提升用于处理遮挡并提高2D-3D人体姿态估计的准确性
摘要

我们介绍了一种名为LInKs的新颖无监督学习方法,该方法可以从单张图像中获得的2D运动骨架恢复3D人体姿态,即使在存在遮挡的情况下也能实现。我们的方法采用独特的两步过程,首先将遮挡的2D姿态提升到3D域,然后利用部分重建的3D坐标填充遮挡部分。这种先提升后填充的方法相比仅在2D空间内完成姿态的模型显著提高了准确性。此外,我们通过自定义采样函数替换了先前工作中使用的主成分分析(PCA)降维方法,从而改进了归一化流的稳定性和似然估计。进一步地,我们首次研究了2D运动骨架的不同部分是否可以独立提升,并发现这种方法本身就能减少当前提升方法的误差。我们认为这是由于减少了远距离关键点之间的相关性所致。在详细的评估中,我们在各种现实遮挡场景下量化了误差,展示了我们模型的多样性和适用性。我们的结果一致表明,在处理所有类型的遮挡时,在3D空间中进行操作比在2D空间中完成姿态更具优势。此外,在没有遮挡的情况下,我们的方法也表现出一致的准确性,与之前在Human3.6M数据集上的工作相比,重建误差降低了7.9%。我们的方法还能够在存在遮挡的情况下准确恢复完整的3D姿态,这使其在无法获取完整2D姿态信息的情况下具有很高的应用价值。

LInKs “提升独立关键点” -- 部分姿态提升用于处理遮挡并提高2D-3D人体姿态估计的准确性 | 最新论文 | HyperAI超神经