Stereo R-CNN-basierte 3D-Objekterkennung für autonomes Fahren

Wir schlagen eine Methode zur 3D-Objekterkennung für autonome Fahrzeuge vor, die die dünn besetzten und dichten, semantischen und geometrischen Informationen in Stereo-Bildern vollständig ausnutzt. Unsere Methode, genannt Stereo R-CNN, erweitert das Faster R-CNN für Stereo-Eingaben, um Objekte in den linken und rechten Bildern gleichzeitig zu erkennen und zu assoziieren. Wir fügen nach dem stereo-basierten Region Proposal Network (RPN) zusätzliche Zweige hinzu, um dünn besetzte Schlüsselpunkte, Betrachtungspunkte und Objektmaße zuvorzusagen. Diese werden mit den 2D-Boxen links-rechts kombiniert, um eine grobe 3D-Objektumrandungsbox zu berechnen. Anschließend gewinnen wir die genaue 3D-Umrandungsbox durch eine regionsbasierte photometrische Ausrichtung unter Verwendung der linken und rechten RoIs (Region of Interest). Unser Verfahren benötigt keine Tiefeneingabe oder 3D-Positionssupervision, übertreffen jedoch alle existierenden vollständig überwachten bildbasierten Methoden. Experimente auf dem anspruchsvollen KITTI-Datensatz zeigen, dass unsere Methode bei den Aufgaben der 3D-Erkennung und 3D-Lokalisierung etwa um 30 % AP (Average Precision) besser abschneidet als die besten bisherigen stereo-basierten Methoden. Der Quellcode ist unter https://github.com/HKUST-Aerial-Robotics/Stereo-RCNN veröffentlicht worden.