Autoencodeurs masqués pour l'apprentissage auto-supervisé de nuages de points

En tant que méthode prometteuse d'apprentissage auto-supervisé, l'auto-encodage masqué a considérablement progressé dans le traitement du langage naturel et la vision par ordinateur. Inspirés par ces avancées, nous proposons un schéma élégant d'auto-encodeurs masqués pour l'apprentissage auto-supervisé des nuages de points, visant à relever les défis posés par les propriétés des nuages de points, notamment la fuite d'informations de localisation et la densité d'information inégale. Plus précisément, nous divisons le nuage de points d'entrée en patches de points irréguliers et nous les masquons aléatoirement avec un taux élevé. Ensuite, un auto-encodeur basé sur un Transformer standard, doté d'une conception asymétrique et d'une opération de décalage des jetons masqués, apprend des caractéristiques latentes de haut niveau à partir des patches de points non masqués, dans le but de reconstruire les patches de points masqués. De nombreuses expériences montrent que notre approche est efficace lors du pré-entraînement et se généralise bien sur diverses tâches en aval. Plus spécifiquement, nos modèles pré-entraînés atteignent une précision de 85,18 % sur ScanObjectNN et 94,04 % sur ModelNet40, surpassant toutes les autres méthodes d'apprentissage auto-supervisé. Nous démontrons également qu'avec notre schéma, une architecture simple entièrement basée sur des Transformers standards peut surpasser les modèles Transformers dédiés issus de l'apprentissage supervisé. Notre approche améliore également les performances actuelles de 1,5 % à 2,3 % dans la classification d'objets en few-shot. De plus, notre travail inspire la faisabilité d'appliquer des architectures unifiées provenant du traitement du langage naturel et des images aux nuages de points.