本文提出了一种新颖的基于检测的跟踪方法，该方法能够同时利用摄像头和激光雷达（LIDAR）数据生成非常精确的三维轨迹。为了实现这一目标，我们将问题表述为一个线性规划模型，可以精确求解，并以端到端的方式学习用于检测和匹配的卷积网络。我们在具有挑战性的KITTI数据集上评估了我们的模型，并展示了非常有竞争力的结果。