4D-StOP : Segmentation panoptique du LiDAR 4D utilisant la génération et l'agrégation de propositions d'objets spatio-temporelles

Dans cette étude, nous présentons un nouveau paradigme appelé 4D-StOP, destiné à résoudre la tâche de segmentation panoramique LiDAR en 4D. Le processus 4D-StOP commence par générer des propositions spatio-temporelles à l'aide de prédictions de centres basées sur le vote, où chaque point du volume 4D vote pour un centre correspondant. Ces propositions de trajectoires sont ensuite agrégées en utilisant des caractéristiques géométriques apprises. La méthode d'agrégation des trajectoires génère efficacement une représentation panoramique 4D au niveau vidéo sur l'ensemble du volume espace-temps. Cela contraste avec les approches actuelles de pointe qui sont entièrement entraînables et utilisent des plongements spatio-temporels représentés par des distributions de probabilité gaussiennes. Notre méthode de génération de trajectoires basée sur le vote, suivie d'une agrégation fondée sur les caractéristiques géométriques, produit une qualité de segmentation panoramique LiDAR significativement améliorée par rapport à la modélisation du volume 4D entier à l'aide de distributions de probabilité gaussiennes. Lorsqu'il est appliqué au jeu de données de test SemanticKITTI, 4D-StOP atteint un nouveau niveau d'excellence avec un score de 63,9 LSTQ, ce qui représente une amélioration importante (+7%) par rapport aux méthodes actuellement les plus performantes et entièrement entraînables. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/LarsKreuzberg/4D-StOP.