用于多人3D姿态估计的压缩体素热图

本文提出了一种从单目RGB图像进行自底向上多人3D人体姿态估计的新方法。我们采用高分辨率体素热图（volumetric heatmaps）来建模关节点位置，并设计了一种简单而高效的压缩方法，显著减小了该表示的规模。所提方法的核心是体素热图自编码器（Volumetric Heatmap Autoencoder），这是一个全卷积网络，负责将真实标签热图压缩为一种密集的中间表示。随后，训练第二个模型——码本预测器（Code Predictor），用于预测这些压缩码，这些码可在测试阶段解压缩，从而恢复原始热图表示。实验结果表明，该方法在多人及单人3D人体姿态估计数据集上均优于现有最先进方法；得益于我们新颖的压缩策略，无论场景中人体数量多少，均可以恒定的8帧每秒（fps）的实时性能处理全高清（full-HD）图像。代码与模型已开源，详见：https://github.com/fabbrimatteo/LoCO。