Pseudo-Stereo für monokulare 3D-Objekterkennung im autonomen Fahren

Pseudo-LiDAR-3D-Detektoren haben durch die Verbesserung der Tiefenwahrnehmung mittels Tiefenschätzungsmethoden und die Nutzung von LiDAR-basierten 3D-Detektionsarchitekturen bemerkenswerte Fortschritte bei der monokularen 3D-Detektion erzielt. Fortgeschrittene Stereo-3D-Detektoren können zudem 3D-Objekte präzise lokalisieren. Der Unterschied in der Bild-zu-Bild-Generierung für Stereoansichten ist deutlich geringer als der bei der Bild-zu-LiDAR-Generierung. Ausgehend von dieser Beobachtung stellen wir einen Pseudo-Stereo-3D-Detektionsansatz mit drei neuen Methoden zur Generierung virtueller Ansichten vor: Bild-Ebene-Generierung, Merkmals-Ebene-Generierung und Merkmals-Klonen, um 3D-Objekte aus einer einzigen Bildaufnahme zu detektieren. Unsere Analyse des tiefenbewussten Lernens zeigt, dass der Tiefenverlust nur bei der Merkmals-Ebene-Generierung wirksam ist, während die geschätzte Tiefenkarte sowohl bei der Bild- als auch bei der Merkmals-Ebene-Generierung nützlich ist. Wir schlagen eine diskrepanz-basierte dynamische Faltung vor, bei der dynamische Kernel aus dem Diskrepanz-Merkmalsbild abgeleitet werden, um die Merkmale adaptiv aus einer einzigen Bildaufnahme zur Generierung virtueller Bildmerkmale zu filtern, was die durch Tiefenschätzfehler verursachte Merkmalsdegradation verringert. Bis zum Einreichungsdatum (18. November 2021) erreicht unser Pseudo-Stereo-3D-Detektionsframework die Bestplatzierung bei Auto, Fußgänger und Radfahrer unter den monokularen 3D-Detektoren mit Publikationen auf der KITTI-3D-Benchmark. Der Quellcode ist unter https://github.com/revisitq/Pseudo-Stereo-3D verfügbar.