SqueezeSegV3: Raumlich-anpassbare Faltung für effiziente Segmentierung von Punktwolken

Die Segmentierung von LiDAR-Punktwolken ist ein zentrales Problem für zahlreiche Anwendungen. Bei der Segmentierung großer Punktwolken ist die de facto-Methode, eine 3D-Punktwolke zu projizieren, um eine 2D-LiDAR-Bild zu erzeugen, und anschließend Konvolutionen zur Verarbeitung einzusetzen. Obwohl LiDAR-Bilder einerseits Ähnlichkeiten mit regulären RGB-Bildern aufweisen, stellen wir fest, dass die Merkmalsverteilung in LiDAR-Bildern an verschiedenen Bildpositionen stark variiert. Die Verwendung herkömmlicher Konvolutionen zur Verarbeitung solcher LiDAR-Bilder ist problematisch, da Konvolutionsfilter lokale Merkmale erfassen, die nur in bestimmten Bildregionen aktiv sind. Dies führt dazu, dass die Kapazität des Netzwerks nicht optimal ausgenutzt wird und die Segmentierungsgenauigkeit leidet. Um dieses Problem zu beheben, schlagen wir die räumlich-adaptive Konvolution (Spatially-Adaptive Convolution, SAC) vor, die je nach Eingabebild unterschiedliche Filter für verschiedene Bildpositionen verwendet. SAC kann effizient berechnet werden, da sie als Folge von elementweisen Multiplikationen, Im2col-Operationen und herkömmlichen Konvolutionen implementiert werden kann. Es handelt sich um ein allgemeines Framework, bei dem mehrere vorherige Methoden als Spezialfälle von SAC interpretiert werden können. Mit SAC entwickeln wir SqueezeSegV3 für die Segmentierung von LiDAR-Punktwolken und erreichen auf dem SemanticKITTI-Benchmark eine Leistung, die alle bisher veröffentlichten Methoden um mindestens 3,7 % mIoU übertrifft, wobei die Inferenzgeschwindigkeit vergleichbar bleibt.