Gemeinsame Modellierung von Bewegungs- und Erscheinungshinweisen für robustes RGB-T-Tracking

In dieser Studie schlagen wir einen neuen RGB-T-Verfolgungsrahmen vor, der sowohl Erscheinungsmerkmale als auch Bewegungshinweise gemeinsam modelliert. Zunächst entwickeln wir eine neuartige späte Fusionsmethode, um die Fusionsgewichtskarten für die RGB- und thermische (T) Modalitäten zu ermitteln, um ein robustes Erscheinungsmodell zu erhalten. Die Fusionsgewichte werden durch das Verwenden von offline trainierten globalen und lokalen multimodalen Fusionsnetzwerken bestimmt und dann zur linearen Kombination der Antwortkarten der RGB- und T-Modalitäten verwendet. Zweitens berücksichtigen wir bei einem nicht verlässlichen Erscheinungsmerkmal umfassend Bewegungshinweise, d.h. Zielobjekt- und Kamerasbewegungen, um den Tracker robust zu gestalten. Wir schlagen zudem einen Tracker-Switcher vor, um den Wechsel zwischen dem Erscheinungs- und dem Bewegungstracker flexibel zu ermöglichen. Zahlreiche Ergebnisse auf drei aktuellen RGB-T-Verfolgungsdatensätzen zeigen, dass der vorgeschlagene Tracker erheblich besser als andere Stand-of-the-Art-Algorithmen performt.