摘要
本文提出了一种名为多视角与时间融合Transformer（Multi-view and Temporal Fusing Transformer, MTF-Transformer）的统一框架，用于在无需相机标定的情况下，自适应处理不同视角数量和视频长度的三维人体姿态估计（3D Human Pose Estimation, HPE）任务。该框架由特征提取器（Feature Extractor）、多视角融合Transformer（Multi-view Fusing Transformer, MFT）和时间融合Transformer（Temporal Fusing Transformer, TFT）三部分组成。特征提取器从每帧图像中估计二维姿态，并根据置信度对预测结果进行融合，输出聚焦于人体姿态的特征嵌入表示，显著降低了后续模块的计算负担。MFT采用一种新颖的相对注意力（Relative-Attention）模块，能够自适应地建模任意数量视角之间的隐式相对关系，从而重构出更具信息量的多视角特征。TFT则通过Transformer结构对整个视频序列的特征进行聚合，并完成三维姿态预测，能够自适应处理任意长度的视频序列，充分挖掘时间维度上的信息。Transformer架构的引入使模型在学习空间几何结构方面表现更优，同时在不同应用场景下具备更强的鲁棒性。我们在Human3.6M、TotalCapture以及KTH多视角足球II数据集上进行了定量与定性分析。实验结果表明，相较于依赖相机参数的先进方法，MTF-Transformer在性能上具有竞争力，并能良好泛化至具有任意未见视角数量的动态采集场景。