SASO: Gemeinsame 3D semantische-Instanzsegmentierung durch mehrskalige semantische Assoziation und Optimierung der Clustering von auffälligen Punkten

Wir schlagen einen neuen 3D-Punktwolken-Segmentierungsrahmen vor, der SASO genannt wird und den semantischen und instanzbasierten Segmentierungsaufgaben gemeinsam bearbeitet. Für die semantische Segmentierung inspiriert uns die inhärente Korrelation zwischen Objekten im räumlichen Kontext, weshalb wir ein Modul für Multi-Skalige Semantische Assoziation (MSA) vorschlagen, um die konstruktiven Effekte der semantischen Kontextinformationen zu erforschen. Bei der instanzbasierten Segmentierung unterscheiden wir uns von früheren Arbeiten, die Clustering ausschließlich im Inferenzprozess verwenden; stattdessen schlagen wir ein Modul für Saliente-Punkt-Clustering-Optimierung (SPCO) vor, das eine Clustering-Prozedur in den Trainingsprozess integriert und das Netzwerk dazu anregt, sich auf Punkte zu konzentrieren, die schwer zu unterscheiden sind. Darüber hinaus begrenzt das Klassenverteilungsungleichgewicht, das durch die inhärenten Strukturen von Innenräumen verursacht wird, die Leistungsfähigkeit der 3D-Szenenwahrnehmung erheblich. Um dieses Problem anzugehen, führen wir einen adaptiven Wasserfüllalgorithmus (Water Filling Sampling, WFS) ein, um die Klassenverteilung der Trainingsdaten auszugleichen. Ausführliche Experimente zeigen, dass unsere Methode sowohl bei der semantischen als auch bei der instanzbasierten Segmentierung auf Benchmark-Datensätzen den aktuellen Stand der Technik übertrifft.