Le Pseudo-Lidar est-il nécessaire pour la détection 3D monocular d'objets ?

Les progrès récents dans la détection d'objets 3D à partir d'images monochromes exploitent l'estimation de profondeur monocabulaire afin de générer des nuages de points 3D, transformant ainsi les caméras en capteurs pseudo-LiDAR. Ces détecteurs à deux étapes s'améliorent avec la précision du réseau d'estimation de profondeur intermédiaire, qui peut elle-même être améliorée sans étiquettes manuelles grâce à un apprentissage auto-supervisé à grande échelle. Toutefois, ces approches sont plus sujettes au surajustement que les méthodes end-to-end, présentent une complexité accrue, et le fossé par rapport aux détecteurs basés sur LiDAR reste important. Dans ce travail, nous proposons un détecteur monocabulaire 3D à une seule étape et end-to-end, nommé DD3D, qui peut tirer parti de l'entraînement préalable en profondeur comme les méthodes pseudo-LiDAR, tout en évitant leurs limitations. Notre architecture est conçue pour assurer un transfert efficace de l'information entre l'estimation de profondeur et la détection 3D, permettant ainsi une mise à l'échelle avec la quantité de données non étiquetées utilisées pour l'entraînement préalable. Notre méthode atteint des résultats de pointe sur deux benchmarks exigeants, avec des scores AP de 16,34 % et 9,28 % pour les voitures et les piétons (respectivement) sur le benchmark KITTI-3D, et un mAP de 41,5 % sur NuScenes.