Zahl-anpassbare Prototypenlernung für die semantische Segmentierung von 3D-Punktwolken

Die semantische Segmentierung von 3D-Punktwolken ist eine zentrale Aufgabe für das Verständnis von 3D-Szenen und wird weithin in Anwendungen des Metaversums eingesetzt. Viele aktuelle Ansätze zur semantischen Segmentierung von 3D-Punktwolken lernen für jede semantische Klasse einen einzigen Prototyp (Klassifikator-Gewichte) und klassifizieren die 3D-Punkte basierend auf deren nächstem Prototyp. Allerdings beschränkt die Nutzung nur eines einzigen Prototyps pro Klasse die Fähigkeit des Modells, die hohe Varianz an Mustern innerhalb einer Klasse adäquat zu beschreiben. Anstatt für jede Klasse nur einen einzigen Prototyp zu lernen, schlagen wir in diesem Artikel vor, eine adaptive Anzahl von Prototypen zu verwenden, um dynamisch die unterschiedlichen Punktstrukturen innerhalb einer semantischen Klasse zu erfassen. Unterstützt durch die starke Leistungsfähigkeit von Vision-Transformern entwickeln wir ein Number-Adaptive Prototype Learning (NAPL)-Modell für die semantische Segmentierung von Punktwolken. Zur Trainingsunterstützung unseres NAPL-Modells stellen wir eine einfache, jedoch effektive Strategie des Prototyp-Dropout-Trainings vor, die es unserem Modell ermöglicht, adaptiv Prototypen für jede Klasse zu generieren. Die experimentellen Ergebnisse auf dem SemanticKITTI-Datensatz zeigen, dass unsere Methode im Vergleich zum Basismodell auf der Grundlage des punktweisen Klassifikationsparadigmas eine Verbesserung von 2,3 % im mIoU erreicht.