基于密集3D表示的野外步态识别及其基准测试

现有的步态识别研究主要集中在受限制场景中的人体二维表示，如人体轮廓或骨架。然而，人类生活在无约束的三维空间中，因此将三维人体投影到二维平面上会丢失许多关键信息，例如视角、形状和动态特征。因此，本文旨在探索在自然环境中使用密集的三维表示进行步态识别，这是一个实际但被忽视的问题。特别地，我们提出了一种新颖的框架，利用人体的三维 Skinned Multi-Person Linear (SMPL) 模型进行步态识别，命名为 SMPLGait。我们的框架包含两个精心设计的分支：一个从轮廓中提取外观特征，另一个从三维 SMPL 模型中学习视角和形状的知识。此外，由于缺乏合适的数据集，我们构建了第一个大规模基于三维表示的步态识别数据集，命名为 Gait3D。该数据集包含 4,000 名受试者和超过 25,000 条序列，这些序列是从无约束室内场景中的 39 台摄像机中提取的。更重要的是，它提供了从视频帧恢复的三维 SMPL 模型，可以提供身体形状、视角和动态特征的密集三维信息。基于 Gait3D 数据集，我们全面比较了我们的方法与现有的步态识别方法，结果表明我们的框架在性能上具有优势，并且在自然环境中的步态识别中展示了三维表示的巨大潜力。代码和数据集可在 https://gait3d.github.io 获取。