Nutzen der Vernetzung: Mehrfachobjektverfolgung mit TrackletNet

Die Mehrzielverfolgung (MOT) ist eine wichtige und praktische Aufgabe, die sowohl für Überwachungssysteme als auch für Anwendungen mit bewegten Kameras, wie autonome Fahrzeuge und robotische Vision, relevant ist. Aufgrund unzuverlässiger Detektionen, Verdeckungen und schneller Kamerabewegungen können verfolgte Ziele jedoch leicht verloren gehen, was die MOT sehr herausfordernd macht. Die meisten aktuellen Arbeiten behandeln die Verfolgung als eine Wiedererkennungsaufgabe (Re-ID), aber wie Erscheinungs- und zeitliche Merkmale effektiv kombiniert werden können, wurde bisher nicht ausreichend gelöst. In dieser Arbeit schlagen wir eine innovative und effektive Verfolgungsmethode vor, den TrackletNet Tracker (TNT), der Erscheinungs- und zeitliche Informationen in einem einheitlichen Framework zusammenführt. Zunächst definieren wir ein Graphenmodell, das jeden Tracklet als Knoten betrachtet. Die Tracklets werden durch Erscheinungssimilarität mit CNN-Merkmalen und Intersection-over-Union (IOU) unter Berücksichtigung epipolargeometrischer Bedingungen generiert, um die Kamerabewegung zwischen benachbarten Frames zu kompensieren. Anschließend wird für jedes Paar von zwei Tracklets die Similarität mittels unseres entwickelten multi-skalierten TrackletNets gemessen. Im nächsten Schritt werden die Tracklets in Gruppen gruppiert, die einzelne Objekt-IDs repräsentieren. Unser vorgeschlagener TNT kann die meisten Herausforderungen der MOT bewältigen und erzielt vielversprechende Ergebnisse auf den Benchmark-Datensätzen MOT16 und MOT17 im Vergleich zu anderen Stand der Technik Methoden.