Modélisation généralisée des relations pour le suivi par transformateur

Par rapport aux trackers à deux flux précédents, la nouvelle architecture à flux unique, qui permet une interaction plus précoce entre le modèle et la région de recherche, a permis une amélioration notable des performances. Toutefois, les trackers à flux unique existants font toujours interagir le modèle avec toutes les parties de la région de recherche à travers toutes les couches d’encodeur. Ce comportement peut entraîner une confusion entre cible et arrière-plan lorsque les représentations features extraites ne sont pas suffisamment discriminantes. Pour atténuer ce problème, nous proposons une méthode généralisée de modélisation des relations fondée sur une division adaptative des tokens. Cette méthode constitue une formulation généralisée de la modélisation des relations basée sur l’attention pour les trackers Transformer, combinant les avantages des approches à deux flux et à flux unique tout en permettant une modélisation des relations plus flexible grâce à la sélection appropriée des tokens de recherche à interagir avec les tokens du modèle. Une stratégie de masquage d’attention ainsi que la technique Gumbel-Softmax sont introduites afin de favoriser le calcul parallèle et l’apprentissage end-to-end du module de division des tokens. Des expériences étendues montrent que notre méthode surpasser les approches à deux flux et à flux unique, atteignant des performances de pointe sur six benchmarks exigeants, tout en fonctionnant en temps réel.