3D-SIS: 3D Semantische Instanzsegmentierung von RGB-D Scanns

Wir stellen 3D-SIS vor, eine innovative neuronale Netzwerkarchitektur für die 3D-semantic instance segmentation in gängigen RGB-D-Scans. Das zentrale Konzept unserer Methode besteht darin, sowohl von geometrischen als auch von Farbsignalen gemeinsam zu lernen, was präzise Instanzvorhersagen ermöglicht. Anstatt ausschließlich auf 2D-Bildern zu operieren, beobachten wir, dass die meisten Computer-Vision-Anwendungen über mehrere Ansichten von RGB-D-Eingaben verfügen, die wir nutzen, um einen Ansatz für die 3D-Instanzsegmentierung zu entwickeln, der diese multimodalen Eingaben effektiv fusioniert. Unser Netzwerk nutzt hochauflösende RGB-Eingaben aus, indem es 2D-Bilder mit dem volumetrischen Gitter basierend auf der Pose-Aligment der 3D-Rekonstruktion assoziiert. Für jedes Bild extrahieren wir zunächst 2D-Features für jeden Pixel durch eine Reihe von 2D-Faltungen; danach projizieren wir den resultierenden Featurevektor rückwärts in das entsprechende Voxel im 3D-Gitter. Diese Kombination von 2D- und 3D-Feature-Lernen ermöglicht eine erheblich höhere Genauigkeit bei der Objekterkennung und Instanzsegmentierung im Vergleich zu den bislang besten Alternativen. Wir präsentieren Ergebnisse sowohl an synthetischen als auch an realen öffentlichen Benchmarks und erreichen dabei einen Anstieg des mAP (mean Average Precision) von über 13 Punkten bei realen Daten.