Dünne und dichte Daten mit CNNs: Tiefenvervollständigung und semantische Segmentierung

Faltungsneuronale Netze sind für dichte Daten konzipiert, aber visuelle Daten sind oft dünn besetzt (Stereo-Tiefenwerte, Punktwolken, Stiftstriche usw.). Wir präsentieren eine Methode zur Verarbeitung von dünn besetzten Tiefendaten mit optionaler dichter RGB-Bildgebung und erreichen die Tiefenvervollständigung sowie die semantische Segmentierung durch Anpassung der letzten Schicht. Unser Vorschlag lernt dünn besetzte Merkmale effizient, ohne dass ein zusätzlicher Gültigkeitsmasken erforderlich ist. Wir zeigen, wie man die Robustheit des Netzes gegenüber variierenden Eingabedichten sicherstellen kann. Unsere Methode funktioniert sogar bei Dichten von nur 0,8 % (8-Layer-LiDAR) und übertrifft alle bisher veröffentlichten Standesmethoden im Kitti-Tiefenvervollständigungsbenchmark.