摘要
本文提出了一种时空趋势推理（Spatio-Temporal Tendency Reasoning, STR）网络，用于从视频中恢复人体姿态与形状。以往方法主要致力于扩展三维人体数据集以及基于时间序列的学习策略，以提升精度与时间上的平滑性。与之不同，本文提出的STR旨在通过挖掘时空趋势，在无约束环境下学习准确且自然的运动序列，并充分挖掘现有视频数据中的时空特征潜力。为此，STR分别在时空两个维度上学习特征表示，以构建更为鲁棒的时空特征表达。具体而言，为实现高效的时序建模，我们首次提出一种时序趋势推理（Temporal Tendency Reasoning, TTR）模块。该模块在视频序列中构建时间维度的分层残差连接表示，有效推理时序运动的趋势，并保障人体信息在时间维度上的高效传播。与此同时，为增强空间表征能力，我们设计了空间趋势增强（Spatial Tendency Enhancement, STE）模块，用于进一步激发人体运动信息表示中在时空频域上敏感的空间特征。最后，我们引入融合策略，对提取的时空特征表示进行整合与优化。在多个大规模公开数据集上的大量实验结果表明，所提出的STR方法在三个基准数据集上均保持了与当前最先进方法相当甚至更优的性能。相关代码已开源，地址为：https://github.com/Changboyang/STR.git。