Dans cet article, nous proposons une nouvelle approche de suivi par détection qui peut exploiter à la fois les données des caméras et celles du LIDAR pour produire des trajectoires 3D très précises. Pour atteindre cet objectif, nous formulons le problème sous forme d'un programme linéaire qui peut être résolu exactement, et nous apprenons des réseaux de neurones convolutifs pour la détection ainsi que l'appariement de manière intégrée (end-to-end). Nous évaluons notre modèle sur l'ensemble de données KITTI, reconnu pour sa difficulté, et présentons des résultats très compétitifs.