HMS-Net: Hierarchisches Multi-Skalares Sparsity-invariantes Netzwerk für die Vervollständigung von dünn besetzten Tiefenbildern

Dichte Tiefeninformationen sind wichtig und finden in verschiedenen Aufgaben der Computer Vision weit verbreitete Anwendungen. Im Bereich des autonomen Fahrens werden LIDAR-Sensoren verwendet, um Tiefenmessungen in der Umgebung des Fahrzeugs zu erfassen, um die Umgebung wahrzunehmen. Allerdings sind durch die Hardwarebegrenzungen von LIDAR die erhaltenen Tiefenkarten in der Regel dünn besetzt. Die Aufgabe der Tiefenvervollständigung (depth completion) gewinnt zunehmend an Bedeutung; sie zielt darauf ab, aus einer dünn besetzten Eingabetiefenkarte eine dicht besetzte Tiefenkarte zu generieren. Um mehrskalige Merkmale effektiv zu nutzen, schlagen wir drei neue sparsitätsinvariante Operationen vor. Basierend auf diesen Vorschlägen entwickeln wir auch ein sparsitätsinvariantes mehrskaliges Encoder-Decoder-Netzwerk (HMS-Net), das für die Verarbeitung von dünn besetzten Eingaben und dünn besetzten Merkmalskarten konzipiert ist. Zusätzliche RGB-Merkmale können integriert werden, um die Leistung der Tiefenvervollständigung weiter zu verbessern. Unsere umfangreichen Experimente und Komponentenanalysen an zwei öffentlichen Benchmarks, dem KITTI-Tiefenvervollständigungsbenchmark und dem NYU-Depth-V2-Datensatz, zeigen die Effektivität des vorgeschlagenen Ansatzes. Stand 12. August 2018 rangiert unser vorgeschlagenes Modell ohne RGB-Leitung unter allen peer-reviewed Methoden, die keine RGB-Informationen verwenden, auf Platz eins der KITTI-Tiefenvervollständigungs-Rangliste. Unser Modell mit RGB-Leitung rangiert unter allen RGB-gesteuerten Methoden auf Platz zwei.