MSTA3D: Mehrskalige Doppelaufmerksamkeit für die 3D-Instanzsegmentierung

Kürzlich haben transformerbasierte Techniken, die Superpunkte einbeziehen, in der 3D-Instanzsegmentierung an Bedeutung gewonnen. Diese Ansätze stoßen jedoch oft auf das Problem der Übersegmentierung, insbesondere bei großen Objekten. Zudem verstärken unzuverlässige Maskenprognosen, die aus der Superpunkt-Maskenprognose resultieren, dieses Problem weiter. Um diesen Herausforderungen entgegenzutreten, schlagen wir einen neuen Rahmenwerk namens MSTA3D vor. Dieses nutzt eine mehrskalige Merkmalsrepräsentation und führt einen Doppelaufmerksamkeitsmechanismus ein, um diese effektiv zu erfassen. Darüber hinaus integriert MSTA3D eine Box-Abfrage mit einem Box-Regularisierer, was neben semantischen Abfragen eine ergänzende räumliche Restriktion bietet. Experimentelle Auswertungen an den Datensätzen ScanNetV2, ScanNet200 und S3DIS zeigen, dass unser Ansatz den aktuellen Stand der Technik in der 3D-Instanzsegmentierung übertrifft.