Point2Vec 用于点云的自监督表示学习

近日，自监督学习框架data2vec在使用掩码学生-教师方法的各种模态上展示了令人鼓舞的性能。然而，该框架是否适用于3D点云的独特挑战仍是一个开放问题。为了解答这一问题，我们将data2vec扩展到点云领域，并在多个下游任务中报告了令人鼓舞的结果。通过深入分析，我们发现位置信息的泄露即使在重度掩码下也能向学生模型揭示整体物体形状，从而阻碍data2vec学习强大的点云表示。为解决这一3D特有的不足，我们提出了point2vec，该方法释放了类似data2vec的预训练在点云上的全部潜力。实验结果表明，point2vec在ModelNet40和ScanObjectNN上的形状分类和少样本学习任务中优于其他自监督方法，并在ShapeNetParts上的部件分割任务中取得了具有竞争力的结果。这些结果表明所学的表示既强大又可迁移，突显了point2vec作为点云表示自监督学习的一个有前景的方向。