PointCT: Point Central Transformer Network für schwach beschriftete Semantische Segmentierung von Punktwolken

Obwohl die Segmentierung von Punktwolken eine zentrale Rolle im 3D-Verständnis spielt, kann die Annotation vollständig großer, skalierter Szenen für diese Aufgabe kostspielig und zeitaufwendig sein. Um dieses Problem zu lösen, stellen wir Point Central Transformer (PointCT) vor – ein neuartiges, end-to-end trainierbares Transformer-Netzwerk für schwach beschriftete semantische Segmentierung von Punktwolken. Im Gegensatz zu vorherigen Ansätzen löst unsere Methode die Herausforderung begrenzter Punktannotierungen ausschließlich basierend auf 3D-Punkten durch eine zentrumsbasierte Aufmerksamkeit. Durch die Anwendung zweier Embedding-Prozesse integriert unsere Aufmerksamkeitsmechanik globale Merkmale über Nachbarschaften hinweg und verbessert somit effektiv die Repräsentation unbeschrifteter Punkte. Gleichzeitig werden die Wechselwirkungen zwischen zentralen Punkten und ihren jeweiligen, unterschiedlichen Nachbarschaften bidirektional kohärent gestaltet. Zudem wird Positionscodierung eingesetzt, um geometrische Merkmale zu stärken und die Gesamtleistung zu verbessern. Insbesondere erreicht PointCT herausragende Ergebnisse unter verschiedenen Szenarien mit beschrifteten Punkten, ohne zusätzliche Aufsicht zu benötigen. Umfangreiche Experimente auf öffentlichen Datensätzen wie S3DIS, ScanNet-V2 und STPLS3D belegen die Überlegenheit unseres vorgeschlagenen Ansatzes gegenüber anderen state-of-the-art-Verfahren.