LIGA-Stereo : Apprentissage de représentations conscientes de la géométrie LiDAR pour les détecteurs 3D basés sur la stéréoscopie

La détection 3D basée sur la stéréoscopie vise à détecter des boîtes englobantes 3D d'objets à partir d'images stéréoscopiques en utilisant des cartes de profondeur intermédiaires ou des représentations géométriques 3D implicites, offrant ainsi une solution à faible coût pour la perception 3D. Cependant, ses performances restent inférieures par rapport aux algorithmes de détection basés sur le LiDAR. Pour détecter et localiser des boîtes englobantes 3D précises, les modèles basés sur le LiDAR peuvent encoder des contours d'objets précis et des directions normales de surface à partir des nuages de points LiDAR. Néanmoins, les résultats de détection des détecteurs stéréoscopiques sont facilement influencés par les caractéristiques de profondeur erronées dues aux limitations du couplage stéréoscopique.Pour résoudre ce problème, nous proposons LIGA-Stereo (LiDAR Geometry Aware Stereo Detector) pour apprendre des détecteurs 3D stéréoscopiques sous la direction de représentations géométriques avancées issues des modèles de détection basés sur le LiDAR. De plus, nous avons constaté que les détecteurs stéréoscopiques existants basés sur les voxels échouaient à apprendre efficacement les caractéristiques sémantiques à partir de supervisions 3D indirectes. Nous ajoutons donc une tête de détection 2D auxiliaire pour fournir des supervisions sémantiques 2D directes.Les résultats expérimentaux montrent que ces deux stratégies ont amélioré les capacités de représentation géométrique et sémantique. Comparativement au meilleur détecteur stéréoscopique actuel, notre méthode a amélioré les performances de détection 3D respectivement de 10,44 %, 5,69 % et 5,97 % mAP pour les voitures, les piétons et les cyclistes sur le banc d'essai officiel KITTI. L'écart entre les détecteurs 3D stéréoscopiques et ceux basés sur le LiDAR est ainsi réduit davantage.