DSGN++ : Exploitation de la relation visuelle- spatiale pour les détecteurs 3D basés sur la stéréoscopie

Les détecteurs d'objets 3D basés sur caméra sont appréciés en raison de leur déploiement plus large et de leur coût inférieur à celui des capteurs LiDAR. Nous revisitons d'abord le détecteur stéréo DSGN pour ses méthodes de construction de volume stéréo représentant à la fois la géométrie 3D et les sémantiques. Nous affinons le modèle stéréo et proposons une version avancée, DSGN++, visant à améliorer le flux d'information efficace tout au long du pipeline 2D-3D sous trois aspects principaux. Premièrement, pour élever efficacement l'information 2D vers le volume stéréo, nous proposons un balayage plan par profondeur (Depth-wise Plane Sweeping, DPS) qui permet des connexions plus denses et extrait des caractéristiques guidées par la profondeur. Deuxièmement, pour saisir des caractéristiques espacées différemment, nous présentons un nouveau volume stéréo -- Dual-view Stereo Volume (DSV) qui intègre les caractéristiques de vue frontale et de vue supérieure et reconstruit la profondeur sub-voxel dans le frustum de la caméra. Troisièmement, alors que la région avant-plan devient moins dominante dans l'espace 3D, nous proposons une stratégie d'édition de données multi-modales -- Stereo-LiDAR Copy-Paste, qui garantit l'alignement inter-modales et améliore l'efficacité des données. Sans artifices superflus, des expériences étendues dans diverses configurations modales sur le benchmark populaire KITTI montrent que notre méthode surpasse constamment les autres détecteurs d'objets 3D basés sur caméra pour toutes les catégories. Le code est disponible à l'adresse suivante : https://github.com/chenyilun95/DSGN2.