La présence d’objets confusément similaires à la cible suivie pose un défi fondamental dans le suivi visuel basé sur l’apparence. Ces objets perturbateurs sont facilement mal classifiés comme étant la cible elle-même, ce qui entraîne inévitablement une défaillance du suivi. Alors que la plupart des méthodes cherchent à supprimer ces perturbateurs grâce à des modèles d’apparence plus puissants, nous adoptons une approche alternative.Nous proposons de suivre les objets perturbateurs afin de maintenir le suivi de la cible. À cette fin, nous introduisons un réseau d’association appris, permettant de propager les identités de toutes les candidats à la cible d’une trame à l’autre. Pour faire face au problème du manque de correspondances vraies étiquetées entre les objets perturbateurs dans le suivi visuel, nous proposons une stratégie d’entraînement combinant des annotations partielles et une auto-supervision. Nous menons une validation expérimentale approfondie et une analyse de notre méthode sur plusieurs jeux de données exigeants. Notre suiveur établit une nouvelle référence sur six benchmarks, atteignant un score AUC de 67,1 % sur LaSOT et une amélioration absolue de +5,8 % sur le jeu de données à long terme OxUvA.