Verfolgung jedes Dings in der Wildnis

Aktuelle Multi-Kategorie-Mehrfachobjektverfolgungsmetriken (Multiple Object Tracking, MOT) nutzen Klassenlabels, um Verfolgungsergebnisse für eine klassenspezifische Bewertung zu gruppieren. Ebenso assoziieren MOT-Methoden typischerweise nur Objekte mit denselben Klassenvorhersagen. Beide gängigen Ansätze implizieren in der Regel, dass die Klassifizierungsleistung nahezu perfekt ist. Dies trifft jedoch in jüngsten großskaligen MOT-Datensätzen weitgehend nicht zu, da diese eine große Anzahl an Klassen enthalten, darunter viele seltene oder semantisch ähnliche Kategorien. Folglich führt die dadurch verursachte ungenaue Klassifizierung zu suboptimalen Verfolgungsergebnissen und einer unzureichenden Bewertung von Tracker-Methoden. Wir begegnen diesen Herausforderungen, indem wir die Klassifikation von der Verfolgung entkoppeln. Wir stellen eine neue Metrik, die Track Every Thing Accuracy (TETA), vor, die die Verfolgungsmessung in drei Teilfaktoren zerlegt: Lokalisierung, Assoziation und Klassifikation. Dadurch ermöglicht TETA eine umfassende Benchmarking-Untersuchung der Verfolgungsleistung auch bei ungenauer Klassifikation. Zudem adressiert TETA das herausfordernde Problem unvollständiger Annotationen in großskaligen Verfolgungsdatensätzen. Weiterhin führen wir einen Track Every Thing Tracker (TETer) ein, der die Assoziation mittels Class Exemplar Matching (CEM) durchführt. Unsere Experimente zeigen, dass TETA Tracker umfassender bewertet und TETer im Vergleich zu aktuellen State-of-the-Art-Methoden signifikante Verbesserungen auf den anspruchsvollen großskaligen Datensätzen BDD100K und TAO erzielt.