Zeitadaptive RGBT-Verfolgung mit Modalitätsanreiz

RGBT-Verfolgung wird in verschiedenen Bereichen wie Robotik, Überwachungsverarbeitung und autonomen Fahrzeugen weit verbreitet eingesetzt. Bestehende RGBT-Verfolger nutzen die räumliche Information zwischen dem Vorlagebild und der Suchregion vollständig aus und lokalisieren das Ziel auf der Grundlage der Erscheinungsbasierten Übereinstimmungsergebnisse. Allerdings nutzen diese RGBT-Verfolger die zeitliche Information nur sehr begrenzt, indem sie entweder die zeitliche Information ignorieren oder durch Online-Sampling und -Training ausnutzen. Die erste Methode hat Schwierigkeiten, mit Änderungen des Objektzustands umzugehen, während die zweite die Korrelation zwischen räumlicher und zeitlicher Information vernachlässigt. Um diese Einschränkungen zu mildern, schlagen wir ein neues Temporal Adaptive RGBT Tracking-Framework vor, das als TATrack bezeichnet wird. TATrack verfügt über eine räumlich-zeitliche Zweistruktur und erfasst zeitliche Informationen durch ein online aktualisiertes Vorlagebild, wobei die Zweistruktur sich auf die multimodale Merkmalsextraktion und den intermodalen Austausch für das initiale Vorlagebild und das online aktualisierte Vorlagebild bezieht. TATrack trägt dazu bei, räumlich-zeitliche Informationen und multimodale Informationen umfassend für die Ziellokalisierung auszuwerten. Darüber hinaus haben wir einen Mechanismus zur räumlich-zeitlichen Interaktion (STI) entwickelt, der zwei Verzweigungen verbindet und es ermöglicht, dass der intermodale Austausch längere Zeitskalen abdeckt. Ausführliche Experimente an drei gängigen RGBT-Verfolgungsbenchmarks zeigen, dass unsere Methode den Stand der Technik erreicht, während sie in Echtzeitspeed läuft.