Lernen von Aufmerksamkeiten: Residuelle aufmerksamkeitsbasierte Siamesische Netzwerkarchitektur für hochleistungsfähiges Online-Visuelles Tracking

Die Offline-Training-Ansätze für Objektverfolgung haben in letzter Zeit großes Potenzial bei der Balance zwischen Verfolgungsgenauigkeit und Geschwindigkeit gezeigt. Dennoch ist es nach wie vor schwierig, ein offline trainiertes Modell effektiv online an ein zu verfolgendes Ziel anzupassen. In dieser Arbeit wird ein Residual Attentional Siamese Network (RASNet) für hochleistungsfähige Objektverfolgung vorgestellt. Das RASNet-Modell reformuliert den Korrelationsfilter innerhalb eines Siamese-Verfolkungsrahmens und integriert verschiedene Arten von Aufmerksamkeitsmechanismen, um das Modell anzupassen, ohne es online zu aktualisieren. Insbesondere nutzt das RASNet durch die Ausnutzung eines allgemeinen, offline trainierten Aufmerksamkeitsmechanismus, eines zieladaptiven Restaufmerksamkeitsansatzes sowie eines kanalpräferierten Merkmalsaufmerksamkeitsmechanismus nicht nur die Überanpassungsprobleme bei der tiefen Netzwerktrainierung zu mildern, sondern auch die Diskriminierungsfähigkeit und Anpassungsfähigkeit durch die Trennung von Repräsentationslernprozess und Diskriminierungslernprozess zu erhöhen. Die vorgeschlagene tiefe Architektur wird end-to-end trainiert und nutzt die reichhaltige räumlich-zeitliche Information vollständig, um eine robuste visuelle Verfolgung zu erreichen. Experimentelle Ergebnisse auf zwei aktuellen Benchmarks, OTB-2015 und VOT2017, zeigen, dass der RASNet-Tracker die derzeit beste Verfolgungsgenauigkeit erreicht und gleichzeitig mit einer Geschwindigkeit von mehr als 80 Bildern pro Sekunde läuft.