Génération de propositions 3D jointes et détection d'objets par agrégation de vues

Nous présentons AVOD, un réseau de détection d'objets à vue agrégée pour les scénarios de conduite autonome. L'architecture du réseau neuronal proposé utilise des nuages de points LIDAR et des images RGB pour générer des caractéristiques partagées par deux sous-réseaux : un réseau de proposition de régions (RPN) et un réseau détecteur de seconde étape. Le RPN proposé utilise une architecture novatrice capable d'effectuer une fusion de caractéristiques multimodales sur des cartes de caractéristiques à haute résolution afin de générer des propositions d'objets 3D fiables pour plusieurs classes d'objets dans les scènes routières. En utilisant ces propositions, le réseau détecteur de seconde étape effectue une régression précise de boîtes englobantes orientées 3D et une classification catégorielle pour prédire l'étendue, l'orientation et la classification des objets dans l'espace 3D. Notre architecture proposée est montrée comme produisant des résultats d'avant-garde sur le banc d'essai KITTI pour la détection d'objets 3D tout en fonctionnant en temps réel avec une empreinte mémoire faible, ce qui la rend un candidat approprié pour le déploiement sur les véhicules autonomes. Le code est disponible à : https://github.com/kujason/avod