Gemeinsames Feature-Lernen und Relationenmodellierung für die Verfolgung: Ein One-Stream-Framework

Das aktuell beliebte Zwei-Stream-Zwei-Stufen-Verfolgungsframework extrahiert die Merkmale des Vorlagen- und Suchbereichs getrennt und führt anschließend ein Relationenmodellierung durch. Dadurch fehlt den extrahierten Merkmalen das Bewusstsein für das Ziel und sie haben eine begrenzte Unterscheidbarkeit zwischen Ziel und Hintergrund. Um dieses Problem zu lösen, schlagen wir ein neues Ein-Stream-Verfolgungsframework (OSTrack) vor, das die Merkmalslernen und Relationenmodellierung durch bidirektionale Informationsflüsse zwischen den Vorlagen-Suchbildpaaren vereint. Auf diese Weise können zielgerichtete, diskriminative Merkmale durch gegenseitige Anleitung dynamisch extrahiert werden. Da kein zusätzlicher, ressourcenintensiver Relationenmodellierungsmodul erforderlich ist und die Implementierung stark parallelisiert ist, läuft der vorgeschlagene Tracker mit hoher Geschwindigkeit. Um die Inferenz-Effizienz weiter zu verbessern, wird ein in-Netzwerk-Kandidaten-Frühauswahlmodul basierend auf dem im Ein-Stream-Framework berechneten starken Ähnlichkeitsprior vorgeschlagen. Als einheitliches Framework erreicht OSTrack standesüberragende Leistungen auf mehreren Benchmarks, insbesondere zeigt es beeindruckende Ergebnisse auf dem One-Shot-Tracking-Benchmark GOT-10k, d.h., es erzielt einen AO-Wert von 73,7 % und verbessert das bisher beste Ergebnis (SwinTrack) um 4,3 %. Darüber hinaus bietet unsere Methode eine gute Balance zwischen Leistung und Geschwindigkeit und zeigt eine schnellere Konvergenz. Der Code und die Modelle sind unter https://github.com/botaoye/OSTrack verfügbar.