PeCLR：通过等变对比学习实现单目RGB图像下的自监督3D手部姿态估计

受对比学习在图像分类任务中取得成功启发，我们提出了一种面向3D手部姿态估计这一结构化回归任务的新颖自监督学习方法。对比学习通过设计一种损失函数，利用未标注数据进行表征学习，促使所学习的特征表示对任意图像变换保持不变性。在3D手部姿态估计任务中，同样期望特征对颜色抖动等外观变换具有不变性。然而，该任务还要求特征对仿射变换（如旋转和平移）具备等变性。为解决这一矛盾，我们提出了一个等变对比学习目标，并在3D手部姿态估计的背景下验证了其有效性。通过实验，我们系统研究了不变性与等变性对比目标的影响，结果表明，学习等变特征能够显著提升3D手部姿态估计任务的表征能力。此外，我们发现，仅使用深度足够大的标准ResNet，并在额外未标注数据上进行训练，即可在FreiHAND数据集上将PA-EPE（逐点平均端点误差）指标提升高达14.5%，且无需引入任何任务特定或专用的网络架构，便达到了当前最优性能。相关代码与模型已公开发布于：https://ait.ethz.ch/projects/2021/PeCLR/