基于注意力引导的图卷积的手部和物体重建协作学习

在交互过程中估计手部和物体的姿态与形状具有广泛的应用前景，包括增强现实和虚拟现实。现有的手部和物体重建方法需要明确定义的物理约束条件和已知的物体模型，这限制了其应用范围。我们的算法对物体模型不作假设，并且能够学习手部与物体交互的物理规则。这需要自动推断手部和（可能未知的）物体的形状及其物理交互。为了解决这一具有挑战性的问题，我们提出了一种协同学习策略，其中两个深度网络分支相互学习。具体而言，我们将手部网格信息传递给物体分支，反之亦然将物体信息传递给手部分支。由此产生的优化（训练）问题可能会不稳定，我们通过两种策略来解决这一问题：(i) 注意力引导的图卷积，有助于识别并聚焦于相互遮挡的部分；(ii) 无监督关联损失，促进两个分支之间的信息传递。使用四个广泛使用的基准数据集进行的实验表明，我们的框架在3D姿态估计方面达到了超越现有最先进方法的精度，并且能够恢复密集的3D手部和物体形状。上述每个技术组件在消融研究中都表现出显著的意义。