Frustum ConvNet : Glisser des frustums pour agrégater les caractéristiques locales ponctuelles pour la détection d'objets 3D amodale

Dans cette étude, nous proposons une nouvelle méthode nommée \emph{Frustum ConvNet (F-ConvNet)} pour la détection d'objets 3D amodaux à partir de nuages de points. Étant donné des propositions de régions 2D dans une image RGB, notre méthode génère en premier lieu une séquence de fuseaux pour chaque proposition de région, puis utilise les fuseaux obtenus pour regrouper les points locaux. F-ConvNet agrège les caractéristiques ponctuelles sous forme de vecteurs de caractéristiques au niveau du fuseau, et organise ces vecteurs de caractéristiques en une carte de caractéristiques pour l'utilisation par sa composante suivante de réseau neuronal entièrement convolutif (FCN), qui fusionne spatialement les caractéristiques au niveau du fuseau et permet une estimation continue et intégrée des boîtes orientées dans l'espace 3D. Nous proposons également des variantes des composants de F-ConvNet, y compris une variante FCN qui extrait des caractéristiques de fuseau à plusieurs résolutions, et un usage affiné de F-ConvNet sur un espace 3D réduit. Des études d'ablation soigneuses vérifient l'efficacité de ces variantes des composants. F-ConvNet ne suppose aucune connaissance préalable de l'environnement 3D d'exploitation et est donc indépendant du jeu de données. Nous présentons des expériences menées sur les jeux de données SUN-RGBD (intérieur) et KITTI (extérieur). F-ConvNet surpassent toutes les méthodes existantes sur SUN-RGBD, et au moment de la soumission il surpassait tous les travaux publiés sur le benchmark KITTI. Le code source est disponible à l'adresse : {\url{https://github.com/zhixinwang/frustum-convnet}}.