2 个月前
NIKI:基于可逆神经网络的神经逆运动学方法用于三维人体姿态和形状估计
Li, Jiefeng ; Bian, Siyuan ; Liu, Qi ; Tang, Jiasheng ; Wang, Fan ; Lu, Cewu

摘要
随着3D人体姿态和形状估计技术的进步,最先进的方法要么能够对遮挡具有鲁棒性,要么在无遮挡情况下获得像素级精度。然而,这些方法无法同时实现鲁棒性和网格图像对齐。在这项工作中,我们提出了NIKI(基于可逆神经网络的神经逆运动学),该模型通过建模双向误差来提高对遮挡的鲁棒性并获得像素级精度。NIKI可以从正向和逆向过程中的数据中学习,利用可逆网络进行训练。在逆向过程中,模型将误差从合理的3D姿态流形中分离出来,以实现稳健的3D人体姿态估计。在正向过程中,我们施加零误差边界条件,以提高对可靠关节位置的敏感度,从而改善网格图像对齐效果。此外,NIKI通过旋-摆分解(twist-and-swing decomposition)模拟解析逆运动学算法,提高了模型的可解释性。我们在标准和特定遮挡基准上进行的实验展示了NIKI的有效性,在这些实验中我们同时展示了其鲁棒性和良好的对齐结果。代码可在 https://github.com/Jeff-sjtu/NIKI 获取。