Gemeinsame monokulare 3D-Fahrzeugerkennung und -verfolgung

Fahrzeug-3D-Ausdehnungen und -Trajektorien sind entscheidende Hinweise für die Vorhersage zukünftiger Fahrzeugpositionen und die Planung zukünftiger Ego-Bewegungen von Agenten auf Basis dieser Vorhersagen. In dieser Arbeit schlagen wir ein neues Online-Framework zur 3D-Erkennung und -Verfolgung von Fahrzeugen in monokularen Videos vor. Das Framework kann nicht nur Erkennungen bewegter Fahrzeuge über die Zeit verknüpfen, sondern auch ihre vollständigen 3D-Bounding-Box-Informationen aus einer Sequenz von 2D-Bildern, die auf einer bewegten Plattform aufgenommen wurden, schätzen. Unsere Methode nutzt das Matching der Tiefenreihenfolge von 3D-Kästen für eine robuste Instanzverknüpfung und verwendet die 3D-Trajektorien-Vorhersage zur Wiedererkennung von verdeckten Fahrzeugen. Zudem haben wir ein Bewegungslernmodul basierend auf einem LSTM (Long Short-Term Memory) entwickelt, um eine genaue Langzeitextrapolation der Bewegung zu ermöglichen. Unsere Experimente mit Simulationsdatensätzen sowie den KITTI- und Argoverse-Datensätzen zeigen, dass unser 3D-Verfolgungsworkflow eine robuste Datenverknüpfung und -Verfolgung bietet. Auf dem Argoverse-Datensatz ist unsere bildbasierte Methode erheblich besser als die LiDAR-zentrierten Baseline-Methoden bei der Verfolgung von 3D-Fahrzeugen innerhalb von 30 Metern.