Weiterentwicklung der selbstüberwachten monokularen Tiefenlernung mit spärlichen LiDAR-Daten

Selbstüberwachte monokulare Tiefenabschätzung bietet eine kosteneffiziente Lösung zur Bestimmung der 3D-Position jedes Pixels. Allerdings führen die bestehenden Ansätze häufig zu unzureichender Genauigkeit, was für autonome Roboter von entscheidender Bedeutung ist. In diesem Paper stellen wir FusionDepth vor – ein neuartiges zweistufiges Netzwerk, das die selbstüberwachte monokulare dichte Tiefenlernung durch die Nutzung kostengünstiger, spärlicher (z. B. 4-Strahl-) LiDAR-Daten voranbringt. Im Gegensatz zu bestehenden Methoden, die spärliche LiDAR-Daten hauptsächlich in einer rechenintensiven, iterativen Nachverarbeitung nutzen, fusioniert unser Modell monokulare Bildmerkmale und spärliche LiDAR-Merkmale, um zunächst Tiefenkarten vorherzusagen. Anschließend wird ein effizientes Feed-Forward-Refinements-Netzwerk entworfen, das die Fehler dieser vorläufigen Tiefenkarten in einem pseudo-3D-Raum mit Echtzeit-Leistung korrigiert. Umfangreiche Experimente zeigen, dass unser vorgeschlagenes Modell sowohl alle state-of-the-art-Methoden zur selbstüberwachten monokularen Tiefenabschätzung als auch spärliche-LiDAR-basierte Ansätze bei beiden Aufgaben – selbstüberwachter monokularer Tiefenabschätzung und Tiefenkompletierung – deutlich übertrifft. Mit der präzisen dichten Tiefenabschätzung erreicht unser Modell auf der KITTI Leaderboard für die nachgeschaltete Aufgabe der monokularen 3D-Objekterkennung eine Leistung, die die beste spärliche-LiDAR-basierte Methode (Pseudo-LiDAR++) um mehr als 68 % übertrifft. Der Quellcode ist unter https://github.com/AutoAILab/FusionDepth verfügbar.