Mono-Kamera 3D Mehrfachobjektverfolgung mit tiefenlernbasierten Detektionen und PMBM-Filterung

Einäugige Kameras sind einer der am häufigsten verwendeten Sensoren in der Automobilindustrie für autonome Fahrzeuge. Ein wesentlicher Nachteil bei der Verwendung von Einäugigen Kameras besteht darin, dass sie nur Beobachtungen in der zweidimensionalen BildEbene machen und den Abstand zu Objekten nicht direkt messen können. In dieser Arbeit zielen wir darauf ab, diese Lücke zu schließen, indem wir einen Mehrzielverfolgungsalgorithmus entwickeln, der ein Bild als Eingabe verwendet und Trajektorien der erkannten Objekte in einem Weltkoordinatensystem erzeugt. Wir lösen dieses Problem durch die Verwendung eines tiefen neuronalen Netzes, das trainiert wurde, um Objekte von einem einzelnen Eingangsbild zu erkennen und deren Abstand zu schätzen. Die Erkennungen aus einer Sequenz von Bildern werden in einen modernen Poisson-Mehr-Bernoulli-Mischungsverfolgungsfilter (Poisson multi-Bernoulli mixture tracking filter) eingespeist. Die Kombination des gelernten Detektors und des PMBM-Filters führt zu einem Algorithmus, der 3D-Verfolgung ausschließlich mit Monokamera-Bildern als Eingabe erreicht. Die Leistung des Algorithmus wird sowohl in 3D-Weltkoordinaten als auch in 2D-Bildebenenkoordinaten evaluiert, wobei das öffentlich zugängliche KITTI-Objektverfolgungsdatensatz verwendet wird. Der Algorithmus zeigt die Fähigkeit, Objekte präzise zu verfolgen und Datenzuordnungen korrekt zu behandeln, selbst dann, wenn es eine große Überlappung der Objekte im Bild gibt. Er ist zudem einer der besten Algorithmen im KITTI-Objektverfolgungsbenchmark. Darüber hinaus ist der Algorithmus effizient und läuft im Durchschnitt nahezu mit 20 Bildern pro Sekunde.请注意，这里“Poison multi-Bernoulli mixture tracking filter”被翻译为“Poisson-Mehr-Bernoulli-Mischungsverfolgungsfilter”，并在首次出现时以括号形式标注了原文。此外，“Monokamera”是德语中对“monocular camera”的常用术语。