Punkt-zu-Voxel-Wissensdistillation für die LiDAR-Semantische Segmentierung

Diese Arbeit behandelt das Problem der Wissensdistillation von einem großen Teacher-Modell auf ein kompaktes Student-Netzwerk für die LiDAR-Semantiksegmentierung. Die direkte Anwendung bisheriger Distillationansätze führt aufgrund der inhärenten Herausforderungen von Punktwolken – nämlich Sparsamkeit, Zufälligkeit und variierende Dichte – zu unterdurchschnittlichen Ergebnissen. Um diese Probleme anzugehen, schlagen wir Point-to-Voxel Knowledge Distillation (PVD) vor, das verborgenes Wissen sowohl auf Punktebene als auch auf Voxel-Ebene überträgt. Konkret nutzen wir zunächst sowohl punktweise als auch voxelweise Ausgabedistillation, um die spärlichen Supervisionsignale zu ergänzen. Um die strukturellen Informationen besser auszunutzen, unterteilen wir die gesamte Punktwolke in mehrere Supervoxels und entwickeln eine Schwierigkeitsbewusste Sampling-Strategie, die Supervoxels mit seltenen Klassen und entfernten Objekten häufiger auswählt. Auf diesen Supervoxels führen wir inter-punktielle und inter-voxel-ähnlichkeitsbasierte Distillation ein, wodurch die Ähnlichkeitsinformationen zwischen Punkten und Voxels dem Student-Modell helfen, die strukturellen Merkmale der Umgebung besser zu erfassen. Wir führen umfangreiche Experimente auf zwei etablierten LiDAR-Segmentierungsbenchmarks durch, nämlich nuScenes und SemanticKITTI. Auf beiden Benchmarks übertrifft unser PVD-Verfahren die bisherigen Distillationansätze signifikant auf drei repräsentativen Backbone-Architekturen – Cylinder3D, SPVNAS und MinkowskiNet. Insbesondere erreicht unsere Methode auf den anspruchsvollen Datensätzen nuScenes und SemanticKITTI eine Reduktion der Multiply-Accumulate Operations (MACs) um etwa 75 % und eine Verdopplung der Geschwindigkeit beim konkurrenzfähigen Cylinder3D-Modell, wobei sie sich auf dem SemanticKITTI-Leaderboard unter allen veröffentlichten Algorithmen auf Platz 1 befindet. Unser Code ist unter https://github.com/cardwing/Codes-for-PVKD verfügbar.