OmniTracker: Vereinheitlichung der Objektverfolgung durch Tracking-with-Detection

Objektverfolgung (OT) zielt darauf ab, die Positionen von Zielobjekten in einer Videosequenz zu schätzen. Je nachdem, ob die Anfangszustände der Zielobjekte durch Annotationen im ersten Frame oder durch Kategorien vorgegeben sind, lässt sich OT in Instanzverfolgung (z. B. SOT und VOS) und Kategorienverfolgung (z. B. MOT, MOTS und VIS) unterteilen. Ausgehend von den besten Praktiken beider Gemeinschaften schlagen wir ein neuartiges Verfolgungs-und-Erkennungs-Paradigma vor, bei dem die Verfolgung Erscheinungsprioritäten für die Erkennung liefert und die Erkennung der Verfolgung Kandidat-Boxen für die Assoziation bereitstellt. Mit dieser Architektur wird ein einheitliches Verfolgungsmodell, OmniTracker, vorgestellt, das alle Verfolgungsaufgaben mit einer vollständig gemeinsamen Netzwerkarchitektur, Modellgewichten und Inferenzpipeline löst. Umfangreiche Experimente auf sieben Verfolgungs-Datensätzen – darunter LaSOT, TrackingNet, DAVIS16-17, MOT17, MOTS20 und YTVIS19 – zeigen, dass OmniTracker Ergebnisse erzielt, die mit denen spezialisierter Modelle vergleichbar oder sogar überlegen sind gegenüber sowohl task-spezifischen als auch einheitlichen Verfolgungsmodellen.