Transformation de la prédiction du modèle pour le suivi

Les méthodes de suivi basées sur l'optimisation ont connu un grand succès en intégrant un module de prédiction de modèle cible, fournissant une raisonnement global efficace en minimisant une fonction objectif. Bien que ce biais inductif intègre des connaissances précieuses du domaine, il limite l'expressivité du réseau de suivi. Dans cette étude, nous proposons donc une architecture de suiveur utilisant un module de prédiction de modèle basé sur les Transformers. Les Transformers capturent les relations globales avec peu de biais inductif, permettant ainsi d'apprendre la prédiction de modèles cibles plus puissants. Nous étendons également le prédicteur de modèle pour estimer un deuxième ensemble de poids qui sont appliqués pour une régression précise des boîtes englobantes. Le suiveur résultant s'appuie sur les informations des images d'entraînement et des images de test afin de prédire tous les poids transductivement. Nous formons le suiveur proposé dans son ensemble et validons ses performances en menant des expériences approfondies sur plusieurs jeux de données de suivi. Notre suiveur établit un nouveau niveau d'excellence sur trois benchmarks, atteignant un AUC (Area Under Curve) de 68,5 % sur le jeu de données difficile LaSOT.