PV-RCNN : Abstraction d'Ensemble de Caractéristiques Point-Voxel pour la Détection d'Objets en 3D

Nous présentons un nouveau cadre de détection d'objets 3D à haute performance, nommé PointVoxel-RCNN (PV-RCNN), pour une détection d'objets 3D précise à partir de nuages de points. Notre méthode propose une intégration profonde des réseaux de neurones convolutifs (CNN) 3D par voxels et de l'abstraction ensembliste basée sur PointNet afin d'apprendre des caractéristiques plus discriminantes des nuages de points. Elle tire parti de l'apprentissage efficace et des propositions de haute qualité du CNN 3D par voxels ainsi que des champs récepteurs flexibles des réseaux basés sur PointNet. Plus précisément, le cadre proposé résume la scène 3D avec un CNN 3D par voxels en un petit ensemble de points clés grâce à un module d'abstraction ensembliste par voxels innovant, ce qui permet d'économiser les calculs ultérieurs et d'encoder des caractéristiques scéniques représentatives. Étant donné les propositions 3D de haute qualité générées par le CNN par voxels, le RoI-grid pooling est proposé pour abstraire des caractéristiques spécifiques aux propositions à partir des points clés vers les points du RoI-grid via une abstraction ensembliste par points clés avec plusieurs champs récepteurs. Comparativement aux opérations de pooling conventionnelles, les points caractéristiques du RoI-grid encodent beaucoup plus d'informations contextuelles pour une estimation précise des confiances et des positions des objets. De nombreuses expériences menées sur les jeux de données KITTI et Waymo Open montrent que notre PV-RCNN proposé dépasse les méthodes actuelles de détection 3D avec des marges notables en utilisant uniquement des nuages de points. Le code est disponible à l'adresse suivante : https://github.com/open-mmlab/OpenPCDet.