CLOUDSPAM : Apprentissage contrastif sur des données non étiquetées pour la segmentation et le pré-entraînement à l’aide de nuages de points agrégés et de MoCo

SegContrast a ouvert la voie à l’apprentissage contrastif sur les nuages de points en extérieur. Sa formulation initiale visait des scans individuels, dans des applications telles que la conduite autonome ou la détection d’objets. Toutefois, pour des usages liés à la cartographie mobile, comme la création de jumeaux numériques urbains ou la planification urbaine, il est nécessaire de disposer de jeux de données à grande échelle et denses afin de capturer toute la complexité et la diversité présentes dans les environnements extérieurs. Dans ce travail, la méthode SegContrast est revisitée et adaptée afin de surmonter ses limites liées aux jeux de données de cartographie mobile, notamment la rareté des paires contrastives et les contraintes mémoire. Pour pallier la faible densité des paires contrastives, nous proposons la fusion de jeux de données hétérogènes. Toutefois, cette fusion n’est pas une opération directe, en raison de la grande variété de taille et de nombre de points présents dans les nuages de points de ces jeux de données. Ainsi, une approche d’augmentation de données est conçue afin de générer un grand nombre de segments tout en optimisant la taille des échantillons de nuages de points en fonction de la mémoire disponible. Cette méthodologie, baptisée CLOUDSPAM, garantit des performances élevées pour les modèles d’apprentissage auto-supervisé, qu’il s’agisse de nuages de points de petite ou de grande échelle en cartographie mobile. Les résultats montrent globalement les bénéfices d’utiliser des jeux de données présentant une large variété de densités et de diversité de classes. CLOUDSPAM atteint l’état de l’art sur le jeu de données KITTI-360, avec un mIoU de 63,6 %, et se classe deuxième sur le jeu de données Toronto-3D. Enfin, CLOUDSPAM obtient des résultats compétitifs par rapport à sa version entièrement supervisée, tout en utilisant uniquement 10 % des données étiquetées.