11 天前

通过单目视频提升单帧3D人体姿态估计

{ Peilin Jiang, Fei Wang, Xuan Wang, Zhi Li}
通过单目视频提升单帧3D人体姿态估计
摘要

训练高精度三维人体姿态估计网络的前提是拥有大量丰富标注的训练数据。然而,手动获取丰富且准确的标注,即便并非完全不可能,也极为繁琐且耗时。本文提出利用单目视频来补充单图像三维人体姿态估计任务的训练数据集。首先,使用少量标注数据训练一个基线模型;随后,通过固定该模型生成的可靠姿态估计结果,将整个视频中的标注自动推断出来,从而将问题转化为三维轨迹补全任务。在此基础上,利用所收集的标注数据进一步训练基线模型,使其学习新的姿态。我们在广泛使用的Human3.6M和MPI-INF-3DHP数据集上对所提方法进行了评估。实验结果表明,仅需少量初始标注,本方法即可成功使模型从无标注的单目视频中学习新姿态,使基线模型的精度提升约10%。与以往方法相比,本方法无需依赖多视角图像或任何显式的二维关键点标注,具有更强的实用性与通用性。

通过单目视频提升单帧3D人体姿态估计 | 最新论文 | HyperAI超神经