Neuüberlegung des Wettbewerbs zwischen Detektion und ReID in der Multi-Object-Verfolgung

Aufgrund des ausgewogenen Verhältnisses aus Genauigkeit und Geschwindigkeit haben One-Shot-Modelle, die Detektion und Identifikations-Embeddings gemeinsam lernen, in der Multi-Object-Tracking-(MOT)-Forschung erhebliche Aufmerksamkeit erlangt. Allerdings werden die inhärenten Unterschiede und Beziehungen zwischen Detektion und Re-Identification (ReID) im Rahmen des One-Shot-Tracking-Paradigmas unbewusst übersehen, da beide Aufgaben als voneinander isolierte Tasks betrachtet werden. Dies führt zu einer unterdurchschnittlichen Leistung im Vergleich zu bestehenden Two-Stage-Methoden. In dieser Arbeit analysieren wir zunächst den kognitiven Prozess beider Aufgaben, wodurch sich ergibt, dass der Wettbewerb zwischen ihnen zwangsläufig die Lernfähigkeit task-spezifischer Darstellungen beeinträchtigt. Um dieses Problem zu lösen, schlagen wir ein neuartiges gegenseitiges Netzwerk (Reciprocal Encoder Network, REN) mit einem selbstbezogenen und einem kreuzbezogenen Design vor, das jeweils dazu beiträgt, dass jeder Zweig effizienter task-spezifische Darstellungen lernt. Das vorgeschlagene Modell zielt darauf ab, den schädlichen Wettbewerb zwischen den Aufgaben zu mildern und gleichzeitig die Zusammenarbeit zwischen Detektion und ReID zu verbessern. Zudem führen wir ein skalenbewusstes Aufmerksamkeitsnetzwerk (Scale-Aware Attention Network, SAAN) ein, das eine semantische Ungenauigkeit bei der Ausrichtung verhindert und somit die Assoziationsfähigkeit der ID-Embeddings erhöht. Durch die geschickte Integration beider Netzwerke in ein One-Shot-Online-MOT-System entwickeln wir einen leistungsstarken MOT-Tracker namens CSTrack. Unser Tracker erreicht die derzeit beste Leistung auf den Datensätzen MOT16, MOT17 und MOT20, ohne zusätzliche Hilfsmittel oder Heuristiken. Darüber hinaus ist CSTrack effizient und läuft mit 16,4 FPS auf einer einzelnen modernen GPU, während die leichtgewichtige Version sogar mit 34,6 FPS läuft. Der vollständige Quellcode ist unter https://github.com/JudasDie/SOTS veröffentlicht.