HyperAIHyperAI

Command Palette

Search for a command to run...

PVT: Point-Voxel Transformer für die Lernung von Punktwolken

Cheng Zhang Haocheng Wan Xinyi Shen Zizhao Wu

Zusammenfassung

Die kürzlich entwickelten reinen Transformer-Architekturen haben im Vergleich zu Faltungsneuralen Netzen vielversprechende Genauigkeit auf Benchmarks für Punktewolkenlernaufgaben erzielt. Allerdings sind bestehende Punktewolken-Transformer rechenintensiv, da sie eine erhebliche Menge an Zeit für die Strukturierung der unregelmäßigen Daten aufwenden. Um diesen Nachteil zu beheben, präsentieren wir das Sparse Window Attention (SWA)-Modul, das grobkörnige lokale Merkmale aus nicht-leeren Voxel gewinnt. Dieses Modul umgeht nicht nur die kostenintensive Strukturierung unregelmäßiger Daten und die Berechnung leerer Voxel, sondern erreicht zudem eine lineare Rechenkomplexität bezüglich der Voxel-Auflösung. Gleichzeitig führen wir das relative Aufmerksamkeits-Modul (RA) ein, um feinkörnige Merkmale bezüglich der globalen Form zu erfassen. RA ist eine robusteres Varianten des Selbst-Aufmerksamkeits-Mechanismus gegenüber starren Transformationen von Objekten. Mit der Kombination von SWA und RA konstruieren wir unsere neuronale Architektur namens PVT, die beide Module in einem gemeinsamen Rahmen für das Lernen mit Punktewolken integriert. Im Vergleich zu vorherigen Transformer- und Aufmerksamkeitsbasierten Modellen erreicht unsere Methode eine Spitzen-Genauigkeit von 94,0 % auf dem Klassifikationsbenchmark und im Durchschnitt eine 10-fache Beschleunigung bei der Inferenz. Ausführliche Experimente bestätigen zudem die Wirksamkeit von PVT auf Benchmarks für Teil- und Semantiksegmentierung (86,6 % und 69,2 % mIoU jeweils).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp