TORNADO-Net : segmentation sémantique à variation totale multi-vues avec module Diamond Inception

La segmentation sémantique des nuages de points constitue un élément clé de la compréhension de scène en robotique et en conduite autonome. Dans cet article, nous présentons TORNADO-Net, un réseau neuronal dédié à la segmentation sémantique des nuages de points 3D issus de capteurs LiDAR. Notre approche combine une extraction de caractéristiques par projection multi-vues (vue oiseau et vue en portée) avec une architecture encodeur-décodeur basée sur ResNet, enrichie d’un nouveau bloc contextuel en forme de losange. Les méthodes actuelles fondées sur la projection ne tiennent pas suffisamment compte du fait que des points voisins appartiennent généralement à la même classe. Afin d’exploiter mieux cette information locale et de réduire les prédictions bruitées, nous proposons une combinaison des pertes basées sur la variation totale (Total Variation), Lovasz-Softmax et la cross-entropie pondérée. Nous tirons également parti du fait que les données LiDAR offrent un champ de vision de 360 degrés, en utilisant une padding circulaire. Nous démontrons des résultats de pointe sur le jeu de données SemanticKITTI, accompagnés d’évaluations quantitatives détaillées ainsi que de résultats d’ablation approfondis.