通过生成和序数排序实现单目3D人体姿态估计

从静态图像中进行单目3D人体姿态估计是一个具有挑战性的问题，这是由于维度诅咒和从2D到3D提升的非良定性质所致。在本文中，我们提出了一种基于深度条件变分自编码器（Deep Conditional Variational Autoencoder, CVAE）的模型，该模型能够在估计的2D姿态条件下生成多种解剖学上合理的3D姿态样本。我们展示了基于CVAE的3D姿态样本集与2D姿态保持一致，并有助于解决从2D到3D提升过程中固有的模糊性问题。我们提出了两种获得最终3D姿态的策略：(a) 利用深度排序/序数关系对候选3D姿态进行评分并加权平均，称为序数评分（OrdinalScore），以及 (b) 在Oracle监督下进行。我们在两个基准数据集上使用序数评分方法报告了接近最先进水平的结果，并在使用Oracle的情况下达到了最先进水平的结果。此外，我们还证明了我们的流水线在没有配对的图像到3D注释的情况下也能产生有竞争力的结果。训练和评估代码可在以下网址获取：https://github.com/ssfootball04/generative_pose。