In dieser Arbeit schlagen wir einen neuen Ansatz für die Verfolgung durch Detektion vor, der sowohl Kameras als auch LIDAR-Daten nutzen kann, um sehr genaue 3D-Trajektorien zu erzeugen. Um dieses Ziel zu erreichen, formulieren wir das Problem als lineares Programm, das exakt gelöst werden kann, und lernen konvolutive Netze für Detektion sowie Matching in einem end-to-end Prozess. Wir evaluieren unser Modell im anspruchsvollen KITTI-Datensatz und zeigen sehr wettbewerbsfähige Ergebnisse.