SASO : Segmentation sémantique et d'instances 3D conjointe par association sémantique multi-échelle et optimisation de regroupement des points saillants

Nous proposons un nouveau cadre de segmentation de nuages de points 3D nommé SASO, qui effectue conjointement les tâches de segmentation sémantique et d'instance. Pour la tâche de segmentation sémantique, inspirés par la corrélation inhérente entre les objets dans le contexte spatial, nous proposons un module d'Association Sémantique Multirésolution (MSA) pour explorer les effets constructifs des informations contextuelles sémantiques. Pour la tâche de segmentation d'instance, contrairement aux travaux précédents qui n'utilisent le regroupement que lors de l'inférence, nous proposons un module d'Optimisation du Regroupement des Points Saillants (SPCO) pour intégrer une procédure de regroupement au processus d'entraînement et obliger le réseau à se concentrer sur les points difficiles à distinguer. De plus, en raison des structures inhérentes des scènes intérieures, le problème d'imbalance dans la distribution des catégories est rarement pris en compte mais limite sévèrement les performances de la perception des scènes 3D. Pour résoudre cette question, nous introduisons un algorithme d'échantillonnage adaptatif par Remplissage d'Eau (WFS) afin d'équilibrer la distribution des catégories dans les données d'entraînement. Des expériences approfondies montrent que notre méthode surpassent les méthodes de pointe sur les jeux de données de référence tant pour la segmentation sémantique que pour la segmentation d'instance.