Apprentissage à partir de la corrélation spatio-temporelle pour la segmentation sémantique semi-supervisée de LiDAR

Nous abordons les défis du problème de segmentation semi-supervisée LiDAR (SSLS), en particulier dans des scénarios à faible budget. Les deux principaux problèmes dans le SSLS à faible budget sont la qualité médiocre des pseudo-étiquettes pour les données non étiquetées et la baisse des performances due au déséquilibre important entre les véritables étiquettes et les pseudo-étiquettes. Ce déséquilibre entraîne un cycle d'entraînement vicieux. Pour surmonter ces défis, nous exploitons le priori spatio-temporel en reconnaissant une importante superposition entre les balayages LiDAR temporairement adjacents. Nous proposons une estimation des étiquettes basée sur la proximité, qui génère des pseudo-étiquettes très précises pour les données non étiquetées en utilisant la cohérence sémantique avec les données adjacentes étiquetées. De plus, nous améliorons cette méthode en élargissant progressivement les pseudo-étiquettes à partir des balayages non étiquetés les plus proches, ce qui aide considérablement à réduire les erreurs liées aux classes dynamiques. En outre, nous utilisons une structure à double branche pour atténuer la dégradation des performances causée par l'imbalance des données.Les résultats expérimentaux montrent des performances remarquables dans des configurations à faible budget (c'est-à-dire ≤ 5 %) et des améliorations significatives dans des configurations à budget normal (c'est-à-dire 5 - 50 %). Enfin, notre méthode a atteint de nouveaux résultats d'état de l'art sur SemanticKITTI et nuScenes en matière de segmentation semi-supervisée LiDAR. Avec seulement 5 % de données étiquetées, elle offre des résultats compétitifs par rapport aux méthodes entièrement supervisées. De plus, elle dépasse la performance de l'état de l'art précédent avec 100 % de données étiquetées (75,2 %) en utilisant seulement 20 % de données étiquetées (76,0 %) sur nuScenes. Le code est disponible sur https://github.com/halbielee/PLE.