GFNet: Geometrisches Flussnetzwerk für die semantische Segmentierung von 3D-Punktwolken

Die semantische Segmentierung von Punktwolken aus projizierten Ansichten, wie z.B. der Entfernungssicht (Range-View, RV) und der Vogelperspektive (Bird's-Eye-View, BEV), wurde intensiv untersucht. Verschiedene Ansichten erfassen unterschiedliche Informationen von Punktwolken und ergänzen sich daher gegenseitig. Aktuelle projektionsbasierte Methoden für die semantische Segmentierung von Punktwolken verwenden jedoch in der Regel eine einfache Spätfusionsstrategie für die Vorhersagen verschiedener Ansichten und versuchen nicht, während des Lernens der repräsentativen Struktur die ergänzenden Informationen geometrisch zu nutzen. In dieser Arbeit stellen wir ein geometrisches Flussnetzwerk (Geometric Flow Network, GFNet) vor, das die geometrische Korrespondenz zwischen verschiedenen Ansichten auf eine align-before-fuse-Basis erkundet. Insbesondere entwickeln wir ein neues Modul für geometrischen Fluss (Geometric Flow Module, GFM), um die ergänzenden Informationen bidirektional über verschiedene Ansichten hinweg unter Berücksichtigung geometrischer Beziehungen im Rahmen eines end-to-end-Lernverfahrens auszurichten und zu verbreiten. Wir führen umfangreiche Experimente auf zwei weit verbreiteten Benchmark-Datensätzen, nämlich SemanticKITTI und nuScenes, durch, um die Effektivität unseres GFNet für projektionsbasierte semantische Segmentierung von Punktwolken zu demonstrieren. Konkret verbessert GFNet nicht nur erheblich die Leistung jeder einzelnen Ansicht, sondern erreicht auch den aktuellen Stand der Technik bei allen existierenden projektionsbasierten Modellen. Der Quellcode ist unter \url{https://github.com/haibo-qiu/GFNet} verfügbar.