Réflexion sur la transformation des données pour une segmentation sémantique LiDAR robuste en conditions météorologiques défavorables

Les méthodes existantes de segmentation sémantique LiDAR peinent souvent à maintenir leurs performances en conditions météorologiques défavorables. Des travaux antérieurs ont tenté de résoudre ce problème en simulant des conditions météorologiques défavorables ou en appliquant des techniques d’augmentation de données universelles durant l’entraînement. Toutefois, ces approches manquent d’une analyse approfondie et d’une compréhension claire de la manière dont les conditions météorologiques défavorables affectent négativement la performance de la segmentation sémantique LiDAR. Motivés par ce manque, nous avons identifié les facteurs clés liés aux conditions météorologiques défavorables et mené une expérience simplifiée (toy experiment) afin d’isoler les causes principales de la dégradation des performances : (1) la perturbation géométrique due à la réfraction causée par le brouillard ou les gouttelettes présentes dans l’air, et (2) la perte de points due à l’absorption d’énergie et aux occultations. À partir de ces constatations, nous proposons de nouvelles techniques stratégiques d’augmentation de données. Premièrement, nous introduisons un jittering sélectif (Selective Jittering, SJ), qui déplace aléatoirement les points selon la profondeur (ou l’angle) afin de simuler la perturbation géométrique. Deuxièmement, nous développons un mécanisme d’effacement apprenable de points (Learnable Point Drop, LPD), basé sur un réseau de Q-apprentissage profond (Deep Q-Learning Network), afin d’apprendre des motifs d’effacement vulnérables et ainsi approcher le phénomène de perte de points causé par les conditions météorologiques défavorables. Sans nécessiter une simulation précise des conditions météorologiques, ces techniques renforcent le modèle de segmentation sémantique LiDAR en l’exposant aux conditions critiques identifiées par notre analyse centrée sur les données. Les résultats expérimentaux confirment l’efficacité des méthodes d’augmentation proposées pour améliorer la robustesse face aux conditions météorologiques défavorables. Notre approche atteint un mIoU notable de 39,5 sur le benchmark SemanticKITTI-to-SemanticSTF, représentant une amélioration de 8,1 % par rapport à la base (baseline), établissant ainsi un nouveau record d’état de l’art. Le code source sera publié à l’adresse suivante : \url{https://github.com/engineerJPark/LiDARWeather}.