SA-Det3D: Selbst-Attention-basierte kontextbewusste 3D-Objekterkennung

Bestehende auf Punktwolken basierende 3D-Objektdetektoren verwenden konvolutionähnliche Operatoren, um lokale Nachbarschaftsinformationen mit festen Gewichtskernen zu verarbeiten und kontextuelle Informationen hierarchisch zu aggregieren. Allerdings haben nicht-lokale neuronale Netze und Selbst-Attention für die 2D-Vision gezeigt, dass die explizite Modellierung langreichweitiger Wechselwirkungen zu robusteren und wettbewerbsfähigeren Modellen führen kann. In diesem Paper stellen wir zwei Varianten von Selbst-Attention für die Kontextmodellierung in der 3D-Objektdetektion vor, indem wir konvolutionale Merkmale mit Selbst-Attention-Merkmale ergänzen. Zunächst integrieren wir die Paar-Attention-Mechanismen in aktuell state-of-the-art-Methoden auf Basis von Bird’s-Eye-View (BEV), Voxel und Punkten und zeigen eine konsistente Verbesserung gegenüber starken Baseline-Modellen um bis zu 1,5 3D AP, gleichzeitig reduziert sich der Parameterumfang um 15–80 % und die Berechnungskosten um 30–50 % auf dem KITTI-Validierungsset. Anschließend schlagen wir eine Selbst-Attention-Variante vor, die eine Teilmenge der repräsentativsten Merkmale durch Lernen von Deformationen über zufällig ausgewählte Positionen auswählt. Dies ermöglicht nicht nur die Skalierung der expliziten globalen Kontextmodellierung auf größere Punktwolken, sondern führt auch zu differenzierteren und informativeren Merkmalsbeschreibungen. Unser Ansatz lässt sich flexibel auf die meisten state-of-the-art-Detektoren anwenden und erzielt dabei eine erhöhte Genauigkeit sowie verbesserte Parameter- und Recheneffizienz. Wir zeigen, dass unsere Methode die Leistung der 3D-Objektdetektion auf den Datensätzen KITTI, nuScenes und Waymo Open verbessert. Der Quellcode ist unter https://github.com/AutoVision-cloud/SA-Det3D verfügbar.