LSTM姿态机

我们观察到，近期在单图像人体姿态估计方面取得的最先进成果主要归功于多阶段卷积神经网络（CNN）。尽管这些模型在静态图像上的表现优异，但将其应用于视频时不仅计算量巨大，还存在性能下降和闪烁的问题。这些次优结果主要是由于无法施加序列几何一致性、处理严重的图像质量退化（如运动模糊和遮挡）以及捕捉视频帧之间的时序相关性所致。本文中，我们提出了一种新颖的递归网络来解决这些问题。我们展示了如果将权重共享方案应用于多阶段CNN，则可以将其重写为递归神经网络（RNN）。这一特性解耦了多个网络阶段之间的关系，从而显著提高了视频中调用网络的速度。同时，它还允许在视频帧之间采用长短期记忆（LSTM）单元。我们发现这种增强记忆的RNN在施加帧间几何一致性方面非常有效，同时也能很好地处理视频中的输入质量退化问题，并成功稳定了序列输出。实验表明，我们的方法在两个大规模视频姿态估计基准测试中显著优于当前最先进的方法。此外，我们还探讨了LSTM内部的记忆细胞，并提供了关于为何该机制能对基于视频的姿态估计预测带来益处的见解。