Assoziativ die Instanzen und Semantik in Punktwolken segmentieren

Eine 3D-Punktwolke beschreibt die reale Szene präzise und intuitiv. Bislang wurde selten diskutiert, wie man vielfältige Elemente in einer solch informativen 3D-Szene segmentieren kann. In dieser Arbeit führen wir zunächst einen einfachen und flexiblen Rahmen ein, der es ermöglicht, Instanzen und Semantik in Punktwolken gleichzeitig zu segmentieren. Anschließend schlagen wir zwei Ansätze vor, die den beiden Aufgaben gegenseitig Vorteile bieten und so eine gewinnbringende Situation für beide erzeugen. Insbesondere nutzen wir die semantische Segmentierung, um die Instanzsegmentierung durch das Lernen von semantikbasierten punktbezogenen Instanz-Embeddings zu verbessern. Gleichzeitig werden die semantischen Merkmale der Punkte, die zur gleichen Instanz gehören, zusammengeführt, um genauere punktspezifische semantische Vorhersagen zu treffen. Unsere Methode übertrifft die bisher besten Methoden in der 3D-Instanzsegmentierung deutlich und bringt gleichzeitig eine erhebliche Verbesserung in der 3D-semantischen Segmentierung mit sich. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/WXinlong/ASIS.