Subspace-Prototypen-Leitfaden zur Minderung der Klassenungleichgewichts bei der semantischen Segmentierung von Punktwolken

Die semantische Segmentierung von Punktwolken kann die Wahrnehmung eines intelligenten Agents erheblich verbessern. Dennoch wird die diskriminative Fähigkeit des Segmentierungsnetzwerks durch die Anzahl verfügbarker Proben pro Kategorie beeinflusst. Um die durch Klassenungleichgewicht verursachte kognitive Verzerrung zu mildern, führt dieser Artikel eine neue Methode ein, namens Subraum-Prototypenführung (\textbf{SPG}), zur Steuerung des Trainings des Segmentierungsnetzwerks. Konkret wird die Punktwolke zunächst nach Kategorien in unabhängige Punktmengen aufgeteilt, um die Ausgangsbedingungen für die Generierung von Merkmalsunterräumen bereitzustellen. Der Hilfszweig, bestehend aus einem Encoder und einem Projektionskopf, projiziert diese Punktmengen in separate Merkmalsunterräume. Anschließend leiten die aus den aktuellen getrennten Unterträumen extrahierten Merkmalsprototypen – kombiniert mit Prototypen aus früheren Unterträumen – den Merkmalsraum des Hauptzweigs an, um die Diskriminierbarkeit der Merkmale seltener Kategorien zu erhöhen. Gleichzeitig werden die aus dem Merkmalsraum des Hauptzweigs abgeleiteten Prototypen zur Steuerung des Trainings des Hilfszweigs verwendet, wodurch eine überwachende Schleife entsteht, die eine konsistente Konvergenz des gesamten Netzwerks gewährleistet. Experimente an großen öffentlichen Benchmarks (z. B. S3DIS, ScanNet v2, ScanNet200, Toronto-3D) sowie an realweltbasierten Datensätzen zeigen, dass die vorgeschlagene Methode die Segmentierungspfformance erheblich verbessert und die aktuell besten Verfahren übertreffen kann. Der Quellcode ist unter \url{https://github.com/Javion11/PointLiBR.git} verfügbar.