7 天前

SEFD:学习蒸馏复杂姿态与遮挡

{SukJu Kang, Geonho Cha, Ho-Deok Jang, Dongyoon Wee, SungJun Min, Kyeongbo Kong, ChangHee Yang}
SEFD:学习蒸馏复杂姿态与遮挡
摘要

本文针对复杂姿态与遮挡情境下的三维(3D)人体网格估计问题提出解决方案。尽管基于二维(2D)姿态的人体遮挡建模已取得诸多进展,但由复杂姿态及其他物体引起的遮挡问题仍持续存在,成为制约性能提升的关键挑战。为此,本文提出一种新型的皮肤化多人体线性模型(Skinned Multi-Person Linear, SMPL)边缘特征蒸馏方法(SMPL Edge Feature Distillation, SEFD),该方法在不增加模型参数量的前提下,展现出对复杂姿态与遮挡的强大鲁棒性。该模型生成的SMPL重叠边缘图与真实标注高度相似,能够有效包含目标人体边界及遮挡信息,并在简化后的边缘图上实现后续特征蒸馏。我们在多个基准数据集上进行了广泛实验,结果在定性与定量层面均表现出优异的重建保真度。大量实验证明,在存在域差异(domain gap)的情况下,本方法在3DPW基准数据集上的平均关节位置误差(MPJPE)和平均顶点位置误差(MPVPE)分别优于当前最先进方法2.8%和1.9%。此外,在包含遮挡、复杂姿态及域差异的3DPW-OCC、3DPW-PC、RH-Dataset、OCHuman、CrowdPose和LSP等多个数据集上,本方法同样表现卓越。相关代码及遮挡与复杂姿态标注数据集将公开发布于:https://anonymous.4open.science/r/SEFD-B7F8/