LSK3DNet: Ein Weg zu effektiver und effizienter 3D-Wahrnehmung mit großen, spärlichen Kernen

Autonome Systeme müssen große, spärliche und unregelmäßige Punktwolken unter Nutzung begrenzter Rechenressourcen verarbeiten. Daher ist es entscheidend, LiDAR-Wahrnehmungsmethoden zu entwickeln, die sowohl effizient als auch wirksam sind. Obwohl eine naive Vergrößerung der 3D-Kerngröße die Leistung verbessern kann, führt sie gleichzeitig zu einem kubisch ansteigenden Overhead. Es ist daher von zentraler Bedeutung, straffe 3D-Kern-Designs zu entwickeln, die überflüssige Gewichte eliminieren und effektiv mit größeren Kernen arbeiten. In diesem Paper stellen wir ein effizientes und wirksames Large Sparse Kernel 3D Neural Network (LSK3DNet) vor, das dynamische Pruning nutzt, um die 3D-Kerngröße zu vergrößern. Unser Ansatz besteht aus zwei zentralen Komponenten: Spatial-wise Dynamic Sparsity (SDS) und Channel-wise Weight Selection (CWS). SDS prunet dynamisch und regeneriert volumetrische Gewichte von Beginn an, um einen großen, spärlichen 3D-Kern zu lernen. Dies verbessert nicht nur die Leistung, sondern reduziert auch signifikant die Modellgröße und die Rechenkosten. Darüber hinaus wählt CWS während des Trainings die wichtigsten Kanäle für die 3D-Faltung aus und entfernt anschließend überflüssige Kanäle, um die Inferenzgeschwindigkeit für 3D-Vision-Aufgaben zu beschleunigen. Wir demonstrieren die Wirksamkeit von LSK3DNet anhand dreier Benchmark-Datensätze und fünf Aufgaben im Vergleich zu klassischen Modellen und anderen großen Kern-Designs. Insbesondere erreicht LSK3DNet die Stand-of-the-Art-Leistung auf SemanticKITTI (d.h. 75,6 % bei Single-Scan und 63,4 % bei Multi-Scan), wobei gegenüber dem naiven großen 3D-Kern-Modell eine Reduktion der Modellgröße um etwa 40 % und eine Reduktion der Berechnungsoperationen um etwa 60 % erzielt wird.