非局部潜在关系蒸馏用于自适应3D人体姿态估计

现有的3D人体姿态估计方法利用了不同形式的强监督（2D/3D姿态）或弱监督（多视图或多深度）。除了合成或演播室环境外，为每个新的目标环境获取这种监督数据极为不便。为此，我们将3D姿态学习视为一个自监督适应问题，旨在将任务知识从有标签的源域转移到完全未配对的目标域。我们提出通过两个显式映射来推断图像到姿态的关系，即图像到潜在空间的映射和潜在空间到姿态的映射，其中后者是从一个先验约束生成对抗自编码器中获得的预训练解码器。接下来，我们引入关系蒸馏作为一种手段，以对齐未配对的跨模态样本，即未配对的目标视频和未配对的3D姿态序列。为此，我们提出了一组新的非局部关系，用于表征长距离潜在姿态交互，而一般的对比关系仅限于局部邻域结构中的正向耦合。此外，我们提供了一种客观的方法来量化非局部性，以便选择最有效的关系集。我们在不同的自适应设置下进行了评估，并在标准基准上展示了最先进的3D人体姿态估计性能。