2 个月前

LightTrack: 一种通用的在线自上而下人体姿态跟踪框架

Guanghan Ning; Heng Huang
LightTrack: 一种通用的在线自上而下人体姿态跟踪框架
摘要

本文提出了一种新颖有效的轻量级框架,称为LightTrack,用于在线人体姿态跟踪。该框架设计为适用于自上而下的姿态跟踪,并且比现有的在线和离线方法更快。单人姿态跟踪(Single-Person Pose Tracking, SPT)和视觉目标跟踪(Visual Object Tracking, VOT)被整合到一个统一的功能实体中,通过可替换的单人姿态估计模块轻松实现。我们的框架将单人姿态跟踪与多人身份关联统一起来,首次尝试将关键点跟踪与目标跟踪结合起来。我们还提出了一种用于人体姿态匹配的Siamese图卷积网络(Siamese Graph Convolution Network, SGCN),作为我们姿态跟踪系统中的Re-ID模块。与其他Re-ID模块不同,我们使用了人体关节的图表示进行匹配。基于骨架的表示方法有效地捕捉了人体姿态的相似性,并且计算成本低廉。它对突然的摄像头移动导致的人体漂移具有较强的鲁棒性。据我们所知,这是第一篇提出自上而下在线人体姿态跟踪框架的论文。所提出的框架足够通用,可以适应其他姿态估计器和候选匹配机制。我们的方法在保持更高的帧率的同时优于其他在线方法,并且在性能上非常接近离线最先进水平。代码已公开发布在:https://github.com/Guanghan/lighttrack。