Discrimination masquée pour l'apprentissage auto-supervisé sur les nuages de points

Le masquage automatique a connu un grand succès pour l'apprentissage non supervisé dans les domaines de l'image et du langage. Cependant, la préformation basée sur le masquage n'a pas encore montré d'avantages pour la compréhension des nuages de points, probablement en raison de l'incapacité des architectures standards comme PointNet à gérer correctement le décalage entre les distributions d'entraînement et de test introduit par le masquage lors de l'entraînement. Dans cet article, nous comblons cette lacune en proposant un cadre Transformer de préformation discriminative au masquage, appelé MaskPoint, pour les nuages de points. Notre idée clé est de représenter le nuage de points par des valeurs d'occupation discrètes (1 si la partie fait partie du nuage de points ; 0 sinon), et d'effectuer une classification binaire simple entre les points d'objet masqués et les points bruités échantillonnés comme tâche intermédiaire. De cette manière, notre approche est robuste face à la variance d'échantillonnage des points dans les nuages de points, et facilite l'apprentissage de représentations riches. Nous évaluons nos modèles préformés sur plusieurs tâches en aval, notamment la classification des formes 3D, la segmentation et la détection d'objets réels, et nous démontrons des résultats d'état de l'art tout en réalisant une accélération significative de la préformation (par exemple, 4,1 fois plus rapide sur ScanNet) par rapport à la ligne de base Transformer précédente. Le code est disponible à l'adresse suivante : https://github.com/haotian-liu/MaskPoint.