Point2Vec pour l'apprentissage de représentations auto-supervisées sur les nuages de points

Récemment, le cadre d'apprentissage auto-supervisé data2vec a montré des performances inspirantes pour diverses modalités en utilisant une approche masquée entre un modèle étudiant et un modèle enseignant. Cependant, il reste à déterminer si un tel cadre peut être généralisé aux défis uniques des nuages de points 3D. Pour répondre à cette question, nous avons étendu data2vec au domaine des nuages de points et rapporté des résultats encourageants sur plusieurs tâches downstream. Dans une analyse approfondie, nous avons découvert que la fuite d'informations positionnelles révèle la forme globale de l'objet à l'étudiant même sous un masquage important, ce qui entrave la capacité de data2vec à apprendre des représentations robustes pour les nuages de points. Nous abordons cette faiblesse spécifique aux données 3D en proposant point2vec, qui libère tout le potentiel d'un pré-entraînement similaire à data2vec sur les nuages de points. Nos expériences montrent que point2vec surpasse d'autres méthodes d'apprentissage auto-supervisé pour la classification de formes et l'apprentissage par quelques exemples (few-shot learning) sur ModelNet40 et ScanObjectNN, tout en obtenant des résultats compétitifs pour le segmentionnement de parties sur ShapeNetParts. Ces résultats suggèrent que les représentations apprises sont solides et transférables, soulignant point2vec comme une direction prometteuse pour l'apprentissage auto-supervisé des représentations de nuages de points.