Guidage par prototype de sous-espace pour atténuer le déséquilibre de classes dans la segmentation sémantique de nuages de points

La segmentation sémantique des nuages de points peut considérablement améliorer la perception d’un agent intelligent. Toutefois, la capacité discriminative du réseau de segmentation est affectée par le nombre d’échantillons disponibles pour chaque catégorie. Pour atténuer le biais cognitif induit par l’imbalanced des classes, cette étude propose une nouvelle méthode, nommée guidance par prototypes de sous-espace (\textbf{SPG}), afin de guider l’entraînement du réseau de segmentation. Plus précisément, le nuage de points est initialement divisé en ensembles de points indépendants par catégorie, afin de fournir des conditions initiales pour la génération d’espaces de caractéristiques. Une branche auxiliaire, composée d’un encodeur et d’un head de projection, mappe ces ensembles de points vers des sous-espaces de caractéristiques distincts. Par la suite, les prototypes de caractéristiques extraits à partir des sous-espaces actuels sont combinés avec ceux des sous-espaces historiques afin de guider l’espace de caractéristiques de la branche principale, renforçant ainsi la discriminabilité des caractéristiques des catégories minoritaires. Les prototypes issus de l’espace de caractéristiques de la branche principale sont également utilisés pour guider l’entraînement de la branche auxiliaire, établissant ainsi une boucle de supervision qui assure une convergence cohérente de l’ensemble du réseau. Les expériences menées sur des benchmarks publics de grande taille (S3DIS, ScanNet v2, ScanNet200, Toronto-3D) ainsi que sur des données réelles recueillies dans le monde réel démontrent que la méthode proposée améliore significativement les performances de segmentation et dépasse les méthodes de pointe actuelles. Le code source est disponible à l’adresse \url{https://github.com/Javion11/PointLiBR.git}.