LIGA-Stereo: Lernen von LiDAR-Geometrie-bewussten Darstellungen für stereo-basierte 3D-Detektoren

Die stereobasierte 3D-Objekterkennung zielt darauf ab, 3D-Objekt-Bounding-Boxen aus Stereobildern unter Verwendung von Zwischen-Tiefenkarten oder impliziten 3D-Geometriedarstellungen zu erkennen, was eine kostengünstige Lösung für die 3D-Wahrnehmung bietet. Allerdings ist ihre Leistung im Vergleich zu LiDAR-basierten Erkennungsalgorithmen noch immer unterlegen. Um genaue 3D-Bounding-Boxen zu erkennen und zu lokalisieren, können LiDAR-basierte Modelle präzise Objektgrenzen und Oberflächennormalrichtungen aus LiDAR-Punktwolken kodieren. Die Erkennungsergebnisse von stereobasierten Detektoren werden jedoch aufgrund der Einschränkungen der Stereo-Matching leicht durch fehlerhafte Tiefenmerkmale beeinflusst. Um dieses Problem zu lösen, schlagen wir LIGA-Stereo (LiDAR Geometry Aware Stereo Detector) vor, um stereobasierte 3D-Detektoren unter der Anleitung hochwertiger geometriebewusster Darstellungen von LiDAR-basierten Erkennungsmodellen zu trainieren. Zudem stellten wir fest, dass existierende voxelbasierte stereobasierte Detektoren nicht effektiv semantische Merkmale aus indirekten 3D-Überwachungen lernen konnten. Wir fügen einen zusätzlichen 2D-Erkennungskopf hinzu, um direkte 2D-semantische Überwachungen bereitzustellen. Experimentelle Ergebnisse zeigen, dass die beiden oben genannten Strategien die geometrischen und semantischen Darstellungsfähigkeiten verbessert haben. Im Vergleich zum aktuellen Stand der Technik in stereobasierter 3D-Erkennung hat unsere Methode die 3D-Erkennungsleistung für Autos, Fußgänger und Radfahrer auf dem offiziellen KITTI-Benchmark um jeweils 10,44 %, 5,69 % und 5,97 % mAP gesteigert. Der Leistungsunterschied zwischen stereobasierter und LiDAR-basierter 3D-Erkennung wurde weiter verringert.