HyperAIHyperAI

Command Palette

Search for a command to run...

SA-Det3D: Selbst-Attention-basierte kontextbewusste 3D-Objekterkennung

Prarthana Bhattacharyya Chengjie Huang Krzysztof Czarnecki

Zusammenfassung

Bestehende auf Punktwolken basierende 3D-Objektdetektoren verwenden konvolutionähnliche Operatoren, um lokale Nachbarschaftsinformationen mit festen Gewichtskernen zu verarbeiten und kontextuelle Informationen hierarchisch zu aggregieren. Allerdings haben nicht-lokale neuronale Netze und Selbst-Attention für die 2D-Vision gezeigt, dass die explizite Modellierung langreichweitiger Wechselwirkungen zu robusteren und wettbewerbsfähigeren Modellen führen kann. In diesem Paper stellen wir zwei Varianten von Selbst-Attention für die Kontextmodellierung in der 3D-Objektdetektion vor, indem wir konvolutionale Merkmale mit Selbst-Attention-Merkmale ergänzen. Zunächst integrieren wir die Paar-Attention-Mechanismen in aktuell state-of-the-art-Methoden auf Basis von Bird’s-Eye-View (BEV), Voxel und Punkten und zeigen eine konsistente Verbesserung gegenüber starken Baseline-Modellen um bis zu 1,5 3D AP, gleichzeitig reduziert sich der Parameterumfang um 15–80 % und die Berechnungskosten um 30–50 % auf dem KITTI-Validierungsset. Anschließend schlagen wir eine Selbst-Attention-Variante vor, die eine Teilmenge der repräsentativsten Merkmale durch Lernen von Deformationen über zufällig ausgewählte Positionen auswählt. Dies ermöglicht nicht nur die Skalierung der expliziten globalen Kontextmodellierung auf größere Punktwolken, sondern führt auch zu differenzierteren und informativeren Merkmalsbeschreibungen. Unser Ansatz lässt sich flexibel auf die meisten state-of-the-art-Detektoren anwenden und erzielt dabei eine erhöhte Genauigkeit sowie verbesserte Parameter- und Recheneffizienz. Wir zeigen, dass unsere Methode die Leistung der 3D-Objektdetektion auf den Datensätzen KITTI, nuScenes und Waymo Open verbessert. Der Quellcode ist unter https://github.com/AutoVision-cloud/SA-Det3D verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp