16 天前

面向人体姿态估计的分布感知坐标表示

Feng Zhang, Xiatian Zhu, Hanbin Dai, Mao Ye, Ce Zhu
面向人体姿态估计的分布感知坐标表示
摘要

尽管热图(heatmap)在人体姿态估计中已成为事实上的标准坐标表示方式,但据我们所知,学术界尚未对其开展系统性研究。本文填补了这一空白,聚焦于热图这一坐标表示形式展开深入探讨。令人意外的是,我们发现将预测热图解码为原始图像空间中最终关节点坐标的过程,对人体姿态估计的性能具有出人意料的重要影响,而这一关键因素此前并未受到足够重视。基于该发现,我们进一步分析了现有方法广泛采用的标准坐标解码方式在设计上的局限性,并提出了一种更为合理、具有分布感知能力的新型解码方法。同时,我们通过生成更精确的热图分布,改进了标准的坐标编码过程(即从真实关节点坐标生成热图),以实现无偏的模型训练。结合上述两方面改进,我们提出了一种全新的关键点坐标表示方法——分布感知关键点表示(Distribution-Aware Coordinate Representation of Keypoint, DARK)。作为一种与模型无关的即插即用模块,DARK显著提升了多种先进人体姿态估计模型的性能。大量实验结果表明,DARK在MPII和COCO两个主流基准上均取得了最佳表现,充分验证了我们所提出的新型坐标表示方法的有效性与实用性。

面向人体姿态估计的分布感知坐标表示 | 最新论文 | HyperAI超神经