Robuste multimodale Mehrobjektverfolgung

Die multimodale Wahrnehmung ist entscheidend für die Zuverlässigkeit und Genauigkeit in autonomen Fahrzeugsystemen, während die Mehrobjektverfolgung (Multi-Object Tracking, MOT) diese durch die Verfolgung der zeitlichen Bewegung dynamischer Objekte weiter verbessert. Die meisten aktuellen Ansätze zur multimodalen Mehrobjektverfolgung basieren entweder auf einer starken Abhängigkeit von einer einzigen Eingabemodalität (z. B. Zentralkamera), was die Zuverlässigkeit beeinträchtigt, oder sind nicht präzise genug, da die Ergebnisse mehrerer Sensoren in einer nachträglichen Fusion verarbeitet werden, ohne die inhärenten Informationen vollständig auszunutzen. In dieser Studie stellen wir einen generischen, sensorunabhängigen multimodalen MOT-Framework (mmMOT) vor, bei dem jede Modalität (d. h. jeder Sensor) ihre Aufgabe eigenständig erfüllen kann, um die Zuverlässigkeit zu bewahren, und darüber hinaus durch ein neuartiges multimodales Fusionsmodul ihre Genauigkeit weiter verbessern kann. Unser mmMOT kann end-to-end trainiert werden und ermöglicht eine gemeinsame Optimierung des Basis-Feature-Extraktors jeder Modalität sowie eines Nachbarschaftsschätzers für die intermodale Zusammenarbeit. Zudem ist mmMOT der erste Ansatz, der tiefe Repräsentationen von Punktwolken im Prozess der Datenassoziation bei der MOT nutzt. Um die Wirksamkeit des vorgeschlagenen Frameworks zu evaluieren, führen wir umfangreiche Experimente auf der anspruchsvollen KITTI-Benchmark durch und erreichen dabei einen state-of-the-art-Performance. Der Quellcode und die Modelle sind unter https://github.com/ZwwWayne/mmMOT verfügbar.