HyperAIHyperAI

Command Palette

Search for a command to run...

Mask3D: Mask Transformer für die 3D semantische Instanzsegmentierung

Jonas Schult Francis Engelmann Alexander Hermans Or Litany Siyu Tang Bastian Leibe

Zusammenfassung

Moderne Ansätze für die 3D semantische Instanzsegmentierung basieren überwiegend auf spezialisierten Abstimmungsmechanismen, gefolgt von sorgfältig entwickelten geometrischen Clustertechniken. Indem wir uns auf die Erfolge jüngerer Transformer-basierter Methoden für Objekterkennung und Bildsegmentierung stützen, schlagen wir den ersten Transformer-basierten Ansatz für die 3D semantische Instanzsegmentierung vor. Wir zeigen, dass generische Transformer-Bausteine verwendet werden können, um Instanzmasken direkt aus 3D-Punktwolken zu prognostizieren. In unserem Modell, dem Mask3D, wird jede Objektinstanz als eine Instanzerkennungsabfrage dargestellt. Durch den Einsatz von Transformer-Decodern lernen die Instanzerkennungsabfragen durch iterative Aufmerksamkeit an Punktwolkenmerkmalen in mehreren Skalen. In Kombination mit Punktmerkmalen erzeugen die Instanzerkennungsabfragen alle Instanzmasken parallel. Mask3D bietet gegenüber aktuellen Standesder Technik-Methoden mehrere Vorteile, da es weder (1) auf Abstimmungsschemata angewiesen ist, die manuell ausgewählte geometrische Eigenschaften (wie Zentren) benötigen, noch (2) auf geometrische Gruppierungsmechanismen, die manuell justierte Hyperparameter (z.B. Radien) erfordern, und (3) es ermöglicht eine Verlustfunktion, die Instanzmasken direkt optimiert. Mask3D setzt einen neuen Stand der Technik in den Tests von ScanNet (+6,2 mAP), S3DIS 6-fach (+10,1 mAP), STPLS3D (+11,2 mAP) und ScanNet200 Test (+12,4 mAP).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp