TesseTrack：端到端可学习的多人关节三维姿态跟踪

我们研究的是在任意数量摄像头画面中对多人进行三维姿态估计与跟踪的任务。为此，我们提出了一种名为TesseTrack的新方法，这是一种创新的自顶向下范式，能够在单一端到端可学习的框架中，同时推理多个个体在时空维度上的三维身体关节重建及其关联关系。本方法的核心在于一种新颖的时空建模方式，该方式在由单视角或多视角聚合而成的统一体素化特征空间中运行。在完成人体检测后，一个四维卷积神经网络（4D CNN）生成短期的人体特定表征，随后通过一个可微分的匹配器将这些表征在时间维度上进行关联。关联后的描述信息被进一步融合并反卷积为三维姿态。这种联合的时空建模方式有别于以往分步处理的策略，后者通常将二维姿态估计、二维到三维的提升（2D-to-3D lifting）以及三维姿态跟踪视为彼此独立的子问题，而这些子问题若孤立求解则极易引入累积误差。此外，与以往方法不同，TesseTrack对摄像头数量的变化具有良好的鲁棒性，即使在推理阶段仅提供单一视角图像，也能取得优异的性能表现。在标准基准数据集上的定量评估表明，TesseTrack在三维姿态重建精度方面显著优于当前最先进的方法。在我们提出的新型评估框架下，对多人刚性结构三维姿态跟踪的测试进一步验证了TesseTrack相较于强基准方法的优越性。