PV-RCNN++: Point-Voxel Feature Set Abstraction mit lokaler Vektorrepräsentation für die 3D-Objekterkennung

Die 3D-Objekterkennung erlangt aufgrund ihrer vielfältigen Anwendungen in verschiedenen Bereichen zunehmend Aufmerksamkeit sowohl in der Industrie als auch in der akademischen Forschung. In diesem Artikel stellen wir Point-Voxel Region-based Convolutional Neural Networks (PV-RCNNs) für die 3D-Objekterkennung auf Punktwolken vor. Zunächst schlagen wir einen neuartigen 3D-Detektor, PV-RCNN, vor, der die Leistung der 3D-Erkennung durch eine tiefe Integration des Merkmalslernens sowohl punktbasierter Set-Abstraktion als auch vokselbasierter dünner Faltung mittels zweier neuer Schritte erheblich verbessert: der Voxel-zu-Keypoint-Szenencode und der Keypoint-zu-Grid RoI-Merkmalsabstraktion. Zweitens präsentieren wir einen erweiterten Rahmen, PV-RCNN++, für eine effizientere und genauere 3D-Objekterkennung. Dieser besteht aus zwei wesentlichen Verbesserungen: einer sectorisierten, proposal-zentrierten Stichprobenauswahl zur effizienten Generierung repräsentativer Keypoints sowie einer VectorPool-Aggregation zur effizienteren Aggregation lokaler Punktmerkmale bei deutlich geringerem Ressourcenverbrauch. Durch diese beiden Strategien ist unser PV-RCNN++ etwa drei Mal schneller als PV-RCNN und erreicht gleichzeitig eine bessere Erkennungsleistung. Experimente zeigen, dass unser vorgeschlagenes PV-RCNN++-Framework eine state-of-the-art-Leistung bei der 3D-Objekterkennung auf dem großskaligen und hochkompetitiven Waymo Open Dataset erzielt, mit einer Inferenzgeschwindigkeit von 10 FPS im Detektionsbereich von 150 m × 150 m.