JSENet: Joint Semantic Segmentation and Edge Detection Network für 3D-Punktwolken

Semantische Segmentierung und semantische Kantenerkennung können als zwei duale Probleme mit engen Beziehungen im Bereich der Computer Vision angesehen werden. Trotz der schnellen Entwicklung lernbasierter Methoden zur 3D-semantischen Segmentierung wurde bisher wenig Aufmerksamkeit auf die Entwicklung von 3D-semantischen Kantendetektoren gelenkt, geschweige denn auf gemeinsame Lernansätze für beide Aufgaben. In diesem Paper greifen wir erstmals das Problem der 3D-semantischen Kantenerkennung an und präsentieren ein neuartiges zweistromiges, vollständig konvolutionales Netzwerk, das beide Aufgaben gemeinsam löst. Insbesondere entwerfen wir ein gemeinsames Verfeinerungsmodul, das regionale und kantenbezogene Informationen explizit verknüpft, um die Leistung beider Aufgaben zu verbessern. Darüber hinaus schlagen wir eine neuartige Verlustfunktion vor, die das Netzwerk anregt, semantische Segmentierungsergebnisse mit klareren und präziseren Grenzen zu erzeugen. Umfassende Evaluationen auf den Datensätzen S3DIS und ScanNet zeigen, dass unsere Methode entweder die Leistung der aktuellen State-of-the-Art-Methoden für die semantische Segmentierung erreicht oder sogar übertrifft und zudem die Basismethoden für die semantische Kantenerkennung deutlich übertrifft. Code-Release: https://github.com/hzykent/JSENet