Frustum PointNets pour la détection d'objets 3D à partir de données RGB-D

Dans cette étude, nous examinons la détection d'objets 3D à partir de données RGB-D dans des scènes tant intérieures qu'extérieures. Alors que les méthodes précédentes se concentrent sur les images ou les voxels 3D, souvent en masquant les motifs et les invariances naturels des données 3D, nous opérons directement sur des nuages de points bruts en faisant émerger des scans RGB-D. Cependant, un défi majeur de cette approche réside dans la façon d'localiser efficacement les objets dans des nuages de points de scènes à grande échelle (proposition de région). Au lieu de se fier uniquement aux propositions 3D, notre méthode tire parti à la fois de détecteurs d'objets 2D bien établis et d'apprentissages profonds avancés en 3D pour l'localisation des objets, ce qui permet d'atteindre une efficacité ainsi qu'un taux de rappel élevé, même pour les petits objets. Grâce à l'apprentissage direct dans des nuages de points bruts, notre méthode est également capable d'estimer précisément les boîtes englobantes 3D même en présence d'occlusions importantes ou avec des points très esparses. Évaluée sur les benchmarks de détection 3D KITTI et SUN RGB-D, notre méthode surpassent l'état de l'art avec des marges notables tout en offrant une capacité temps réel.