无监督跨模态对齐在多人3D姿态估计中的应用

我们提出了一种便于部署且快速的自底向上框架，用于多人三维人体姿态估计。该框架采用了一种新颖的多人三维姿态神经表示方法，将人体实例的位置与其对应的三维姿态表示统一起来。通过学习生成式姿态嵌入（generative pose embedding），不仅确保了合理的三维姿态预测，还消除了以往自底向上方法中常用的关节点分组操作。此外，我们提出了一种实用的部署范式，适用于没有配对的二维或三维姿态注释的情况。在缺乏任何配对监督的情况下，我们利用一个冻结网络作为教师模型，该网络是在辅助任务——多人二维姿态估计上训练得到的。我们将学习过程视为跨模态对齐问题，并提出了训练目标以实现两种不同模态之间的共享潜在空间。我们的目标是通过使用人工合成的多人三维场景样本丰富潜在空间到三维姿态的映射关系，从而提升模型超越限制性教师网络的能力。我们的方法不仅能够推广到野外图像（in-the-wild images），而且在速度和性能之间取得了优于以往自顶向下方法的更好平衡。在一致的监督水平下，我们的方法在自底向上的多人三维姿态估计中也达到了最先进的性能。