基于运动学感知的分层注意力网络用于视频中的人体姿态估计

基于视频的人体姿态估计方法先前已通过利用连续帧的聚合特征取得了令人瞩目的成果。然而，大多数现有方法在缓解抖动（jitter）问题时往往以牺牲精度为代价，且未能充分建模人体运动的时序特性。此外，遮挡现象会加剧连续帧之间的不确定性，导致姿态估计结果不够平滑。为解决上述问题，我们设计了一种新架构，通过引入关键点运动学特征，包含以下三个核心组件：首先，通过利用单个关键点的速度与加速度信息，有效捕捉时序特征；其次，提出一种分层Transformer编码器，用于聚合时空依赖关系，并对现有姿态估计器输出的2D或3D姿态进行精细化优化；最后，我们在编码器生成的优化输入姿态与解码器输出的最终姿态之间引入在线交叉监督机制，实现联合优化。实验结果表明，我们的方法在多项任务中均展现出全面且优异的性能，包括2D姿态估计、3D姿态估计、人体网格重建以及稀疏标注下的多人体姿态估计。相关代码已开源，地址为：https://github.com/KyungMinJin/HANet。