Détection 3D à points virtuels multimodaux

La détection basée sur le Lidar alimente actuellement les véhicules autonomes. Malgré les progrès rapides réalisés, les capteurs Lidar actuels restent encore en retard d’environ deux décennies par rapport aux caméras couleur traditionnelles en termes de résolution et de coût. Pour la conduite autonome, cela signifie que les objets volumineux situés près du capteur sont facilement détectables, tandis que les objets éloignés ou de petite taille ne se traduisent que par une ou deux mesures. Ce défaut pose problème, notamment lorsque ces objets se révèlent être des dangers potentiels pour la conduite. En revanche, ces mêmes objets sont clairement visibles via les capteurs RGB embarqués. Dans ce travail, nous proposons une approche pour intégrer de manière transparente les capteurs RGB dans la reconnaissance 3D basée sur le Lidar. Notre méthode prend un ensemble de détections 2D pour générer des points virtuels 3D denses, qui enrichissent ainsi un nuage de points 3D initialement peu dense. Ces points virtuels s’intègrent naturellement dans tout détecteur 3D basé sur le Lidar standard, aux côtés des mesures Lidar classiques. Le détecteur multi-capteurs ainsi obtenu est à la fois simple et efficace. Les résultats expérimentaux sur le grand jeu de données nuScenes montrent que notre cadre améliore significativement une base robuste (CenterPoint) de 6,6 points de mAP, tout en surpassant les approches concurrentes de fusion. Le code source et davantage de visualisations sont disponibles à l’adresse suivante : https://tianweiy.github.io/mvp/