概率建模在人体网格恢复中的应用

本文关注从二维证据中重建三维人体的问题。尽管这是一个本质上具有模糊性的难题，但大多数近期的研究工作都避免了不确定性建模，通常为给定输入回归一个单一估计值。相比之下，我们在本研究中提出接受这种重建的模糊性，并将问题重新定义为从输入到一系列可能的三维姿态分布的学习映射。我们的方法基于归一化流模型（normalizing flows），并具有一系列优势。对于需要单一三维估计的传统应用，我们的公式允许高效计算模式。使用该模式可实现与确定性单模态回归模型相当的性能表现。同时，由于我们能够访问每个样本的似然性，我们展示了该模型在一系列下游任务中的实用性，在这些任务中，我们利用预测的概率性质作为提高估计精度的工具。这些任务包括从多个未标定视图中进行重建以及人体模型拟合，在后者中，我们的模型作为强大的图像先验用于网格恢复。我们的结果验证了概率建模的重要性，并表明在多种设置下达到了最先进的性能水平。代码和模型可在以下网址获取：https://www.seas.upenn.edu/~nkolot/projects/prohmr。