Point-GCC : Pré-entraînement universel auto-supervisé de scènes 3D par contraste géométrie-couleur

Les informations géométriques et chromatiques fournies par les nuages de points sont toutes deux cruciales pour la compréhension des scènes 3D. Ces deux types d'informations caractérisent différents aspects des nuages de points, mais les méthodes existantes manquent d'une conception élaborée pour leur discrimination et leur pertinence. Nous explorons donc un paradigme auto-supervisé 3D qui peut mieux exploiter les relations entre les informations des nuages de points. Plus précisément, nous proposons un cadre de pré-entraînement universel pour les scènes 3D via le Contraste Géométrie-Chromatique (Point-GCC), qui aligne les informations géométriques et chromatiques à l'aide d'un réseau Siamese.Pour tenir compte des tâches d'application réelles, nous avons conçu : (i) une supervision hiérarchique avec un contraste au niveau des points et un contraste au niveau des objets basé sur un nouveau module de clustering profond afin de réduire l'écart entre le pré-entraînement et les tâches en aval ; (ii) une structure indépendante du modèle pour s'adapter à divers modèles en aval. Grâce à la représentation au niveau des objets associée aux tâches en aval, Point-GCC peut évaluer directement les performances du modèle, et les résultats démontrent l'efficacité de notre approche. Les résultats du transfert d'apprentissage sur une large gamme de tâches montrent également des améliorations cohérentes sur tous les jeux de données, par exemple, de nouveaux résultats d'état de l'art en détection d'objets sur les jeux de données SUN RGB-D et S3DIS.Le code sera rendu disponible sur https://github.com/Asterisci/Point-GCC.