Semantische Szenevollständigung aus einem einzelnen Tiefenbild

Dieses Papier konzentriert sich auf die semantische Szenevervollständigung, eine Aufgabe zur Erstellung einer vollständigen 3D-Voxel-Darstellung der Volumenbesetzung und semantischer Etiketten für eine Szene basierend auf einer Einzelsicht-Tiefenkartenbeobachtung. Frühere Arbeiten haben die Szenenvervollständigung und die semantische Klassifizierung von Tiefenkarten getrennt betrachtet. Wir beobachten jedoch, dass diese beiden Probleme eng miteinander verknüpft sind. Um die gekoppelte Natur dieser beiden Aufgaben zu nutzen, führen wir das semantische Szenenvervollständigungsnetzwerk (SSCNet) ein, ein end-to-end 3D-Faltungsnetzwerk, das ein einzelnes Tiefenbild als Eingabe verwendet und gleichzeitig Besetzungs- und semantische Etiketten für alle Voxel im Kamerasichtkegel ausgibt. Unser Netzwerk verwendet ein dilatationsbasiertes 3D-Kontextmodul, um den Rezeptivbereich effizient zu erweitern und das Lernen des 3D-Kontexts zu ermöglichen. Um unser Netzwerk zu trainieren, erstellen wir SUNCG – einen manuell erstellten, groß angelegten Datensatz synthetischer 3D-Szenen mit dichten volumetrischen Annotationen. Unsere Experimente zeigen, dass das gemeinsame Modell Methoden übertrifft, die jede Aufgabe isoliert bearbeiten, und alternative Ansätze bei der semantischen Szenenvervollständigung übertrifft.