17 天前
通过相机解耦表示实现轻量级多视角三维姿态估计
Edoardo Remelli, Shangchen Han, Sina Honari, Pascal Fua, Robert Wang

摘要
我们提出了一种轻量级解决方案,用于从空间标定的多视角图像中恢复三维姿态。基于可解释表征学习的最新进展,我们利用三维几何信息将输入图像融合为统一的、与相机视角解耦的姿态隐式表征。这一设计使得我们能够在不同视角之间高效推理三维姿态,而无需依赖计算开销巨大的体素网格。随后,我们的架构通过条件化于相机投影算子,生成高精度的每视角二维检测结果,并可通过一个可微分的直接线性变换(DLT)层简单地提升至三维空间。为实现高效计算,我们提出了一种新型的DLT实现方法,在GPU架构上的运算速度较传统的基于SVD的三角化方法快多个数量级。我们在两个大规模人体姿态数据集(H36M和Total Capture)上对所提方法进行了评估,结果表明,我们的方法在性能上优于或媲美当前最先进的体素化方法,同时与后者不同的是,能够实现实时运行。