Pré-entraînement non supervisé de nuages de points par complétion d'occlusion

Nous décrivons une approche de pré-entraînement simple pour les nuages de points. Cette méthode s'effectue en trois étapes : 1. Masquer tous les points occultés dans une vue caméra ; 2. Apprendre un modèle encodeur-décodeur pour reconstruire les points occultés ; 3. Utiliser les poids de l'encodeur comme initialisation pour les tâches en aval sur les nuages de points. Nous constatons que même lorsque nous construisons un seul ensemble de données de pré-entraînement (à partir de ModelNet40), cette méthode de pré-entraînement améliore la précision sur différents ensembles de données et encodeurs, pour une large gamme de tâches en aval. Plus précisément, nous montrons que notre méthode surpasses les méthodes précédentes de pré-entraînement dans la classification d'objets, ainsi que dans les tâches de segmentation basée sur les parties et sémantique. Nous analysons les caractéristiques pré-entraînées et constatons qu'elles conduisent à des minima larges en aval, présentent une forte invariance aux transformations et ont des activations fortement corrélées avec les étiquettes des parties.Le code et les données sont disponibles à l'adresse suivante : https://github.com/hansen7/OcCo