2D semantikgesteuerte semantische Szenen-Vervollständigung

Semantische Szenenkompletierung (Semantic Scene Completion, SSC) zielt darauf ab, gleichzeitig die Szenenkompletierung (Scene Completion, SC) durchzuführen und die semantischen Kategorien einer 3D-Szene aus einem einzigen Tiefen- und/oder RGB-Bild vorherzusagen. Die meisten bestehenden SSC-Methoden stoßen bei komplexen Regionen mit mehreren nahe beieinanderliegenden Objekten, insbesondere bei Objekten mit reflektierenden oder dunklen Oberflächen, auf Schwierigkeiten. Dies liegt hauptsächlich an zwei Herausforderungen: (1) dem Verlust geometrischer Information aufgrund der Unzuverlässigkeit der Tiefenwerte von Sensoren und (2) der möglichen semantischen Verwirrung bei der gleichzeitigen Vorhersage von 3D-Formen und semantischen Etiketten. Um diese Probleme anzugehen, schlagen wir einen semantikgesteuerten Ansatz für die semantische Szenenkompletierung vor, den wir SG-SSC nennen. Der Ansatz umfasst zwei zentrale Komponenten: die semantikgesteuerte Fusion (Semantic-guided Fusion, SGF) und den volumengesteuerten semantischen Predictor (Volume-guided Semantic Predictor, VGSP). Ausgehend von 2D-Semantiksegmentierungskarten adaptiviert SGF die Fusion von RGB- und Tiefenmerkmalen, um die durch fehlende Werte in Tiefenbildern verloren gegangene geometrische Information zu kompensieren, wodurch die Robustheit gegenüber unzuverlässigen Tiefeninformationen erhöht wird. VGSP nutzt den wechselseitigen Nutzen zwischen den Aufgaben SC und SSC, wodurch SSC stärker auf die Vorhersage der Kategorien von Voxel mit hoher Besetzungs-Wahrscheinlichkeit fokussiert wird und SC gleichzeitig semantische Priorwissen zur besseren Vorhersage der Voxel-Besetzung nutzen kann. Experimentelle Ergebnisse zeigen, dass SG-SSC bestehende State-of-the-Art-Methoden auf den Datensätzen NYU, NYUCAD und SemanticKITTI übertrifft. Die Modelle und der Quellcode sind unter https://github.com/aipixel/SG-SSC verfügbar.