STMTrack: Templatefreies visuelles Tracking mit Space-Time-Memory-Netzwerken

Die Leistungsfähigkeit der offline trainierten Siamese Tracker wird heutzutage immer schwieriger zu steigern, da die festen Informationen des aus dem ersten Frame geschnittenen Vorlagenbildes bereits fast vollständig ausgeschöpft sind. Allerdings sind sie nur schlecht in der Lage, Veränderungen im Erscheinungsbild des Ziels zu widerstehen. Existierende Tracker mit Mechanismen zur Aktualisierung der Vorlage basieren auf zeitaufwändigen numerischen Optimierungen und komplexen manuell entworfenen Strategien, um wettbewerbsfähige Leistungen zu erzielen. Dies behindert sie jedoch bei der Echtzeitverfolgung und praktischen Anwendungen. In dieser Arbeit schlagen wir einen neuen Tracking-Framework vor, der auf einem Raum-Zeit-Gedächtnisnetzwerk (space-time memory network) aufbaut und in der Lage ist, historische Informationen zum Ziel optimal zu nutzen, um sich besser an Erscheinungsveränderungen während der Verfolgung anzupassen. Insbesondere wird ein neuer Gedächtnismechanismus eingeführt, der historische Informationen über das Ziel speichert, um den Tracker darauf zu lenken, die informativsten Bereiche im aktuellen Frame zu fokussieren. Darüber hinaus ermöglicht die Pixel-Level-Ähnlichkeitsberechnung des Gedächtnisnetzwerks es unserem Tracker, viel genauere Begrenzungsrahmen (bounding boxes) des Ziels zu generieren. Ausführliche Experimente und Vergleiche mit vielen wettbewerbsfähigen Trackern auf anspruchsvollen großen Benchmarks wie OTB-2015, TrackingNet, GOT-10k, LaSOT, UAV123 und VOT2018 zeigen, dass unser Tracker ohne zusätzliche Verbesserungen alle bisherigen Stand-of-the-Art-Echtzeitmethoden bei einer Geschwindigkeit von 37 FPS übertrifft. Der Code ist unter https://github.com/fzh0917/STMTrack verfügbar.