2 个月前
DeciWatch:一种简单基线方法,实现2D和3D姿态估计效率提升10倍
Zeng, Ailing ; Ju, Xuan ; Yang, Lei ; Gao, Ruiyuan ; Zhu, Xizhou ; Dai, Bo ; Xu, Qiang

摘要
本文提出了一种用于基于视频的2D/3D人体姿态估计的简单基线框架,该框架在不降低性能的情况下,比现有方法提高了10倍的效率,命名为DeciWatch。与当前逐帧估计视频中每一帧的方法不同,DeciWatch引入了一种简单而有效的采样-去噪-恢复框架,仅对稀疏采样的帧进行详细估计,利用了人体运动的连续性和轻量级的姿态表示。具体而言,DeciWatch均匀采样少于10%的视频帧进行详细估计,使用高效的Transformer架构对估计的2D/3D姿态进行去噪,然后通过另一个基于Transformer的网络准确恢复其余帧。在三个基于视频的人体姿态估计和身体网格恢复任务中,使用四个数据集进行的全面实验结果验证了DeciWatch的高效性和有效性。代码可在https://github.com/cure-lab/DeciWatch 获取。