17 天前
TFPose:基于Transformer的直接人体姿态估计
Weian Mao, Yongtao Ge, Chunhua Shen, Zhi Tian, Xinlong Wang, Zhibin Wang

摘要
我们提出了一种基于回归的人体姿态估计框架,以回归方式解决该任务。与以往的回归方法不同,这些方法通常在性能上落后于当前最先进的模型,我们创新性地将姿态估计任务建模为序列预测问题,能够通过Transformer有效求解。所提框架结构简洁、直接,避免了基于热图的姿态估计方法存在的固有缺陷。此外,得益于Transformer中的注意力机制,本框架能够自适应地关注与目标关键点最相关的特征,显著缓解了以往回归方法中存在的特征错位问题,并大幅提升了性能表现。尤为重要的是,该框架天然地利用了关键点之间的结构化关系。在MS-COCO和MPII数据集上的实验结果表明,我们的方法显著提升了回归式姿态估计的最先进水平,并达到了与最优热图式姿态估计方法相当的性能。