La plupart des détecteurs d'objets 3D de pointe s'appuient fortement sur les capteurs LiDAR en raison d'un écart de performance important entre les méthodes basées sur les images et celles basées sur le LiDAR. Cet écart est dû à la manière dont la représentation est formée pour la prédiction dans des scénarios 3D. Notre méthode, appelée Deep Stereo Geometry Network (DSGN), réduit considérablement cet écart en détectant les objets 3D sur une représentation volumique différentiable -- le volume géométrique 3D, qui encode efficacement la structure géométrique 3D pour l'espace régulier 3D. Grâce à cette représentation, nous apprenons simultanément les informations de profondeur et les indices sémantiques. Pour la première fois, nous proposons un pipeline de détection 3D stéréoscopique simple et efficace qui estime conjointement la profondeur et détecte les objets 3D dans une approche d'apprentissage end-to-end. Notre approche surpasses les détecteurs 3D stéréoscopiques précédents (environ 10 points de pourcentage plus élevés en termes de AP) et atteint même des performances comparables à plusieurs méthodes basées sur le LiDAR sur le classement de détection d'objets 3D KITTI. Notre code est disponible au public sur https://github.com/chenyilun95/DSGN.