DEFT: Detection Embeddings für die Verfolgung

Die meisten modernen Systeme für mehrfache Objektverfolgung (Multiple Object Tracking, MOT) folgen dem Paradigma der Verfolgung durch Detektion und bestehen aus einem Detektor, gefolgt von einer Methode zur Zuordnung von Detektionen zu Verfolgungstracks. Die Kombination von Bewegungs- und Erscheinungseigenschaften zur Verbesserung der Robustheit gegenüber Verdeckungen und anderen Herausforderungen hat eine lange Tradition in der Verfolgungsforschung; typischerweise geht dies jedoch mit einem Kompromiss zwischen Komplexität und Geschwindigkeit einher. Neuere Erfolge auf etablierten 2D-Verfolgungsbenchmarks zeigen, dass Spitzenwerte erreicht werden können, indem ein state-of-the-art-Detektor mit relativ einfachen Zuordnungsstrategien basierend auf räumlichen Verschiebungen innerhalb einzelner Frames kombiniert wird – wobei diese Ansätze signifikant besser abschneiden als aktuelle Methoden, die gelernte Erscheinungseigenschaften zur Re-Identifikation verlorener Tracks nutzen. In diesem Artikel stellen wir ein effizientes, gemeinsam lernendes Modell zur Detektion und Verfolgung vor, namens DEFT („Detection Embeddings for Tracking“). Unser Ansatz basiert auf einem auf Erscheinungseigenschaften basierenden Objektzuordnungsnetzwerk, das gemeinsam mit einem zugrundeliegenden Objektdetektionsnetzwerk trainiert wird. Zudem wird ein LSTM-Netzwerk hinzugefügt, um Bewegungsbeschränkungen zu erfassen. DEFT erreicht eine Genauigkeit und Geschwindigkeit, die den führenden Methoden auf den 2D-Online-Verfolgungsleaderboards entspricht, während es bei der Anwendung auf anspruchsvollere Verfolgungsdatensätze erhebliche Vorteile hinsichtlich Robustheit bietet. DEFT setzt neue Maßstäbe im nuScenes-Monokular-3D-Verfolgungswettbewerb und verdoppelt die Leistung der bisher besten Methode mehr als. Der Quellcode ist öffentlich verfügbar.