La formation hors ligne pour le suivi d’objets a récemment démontré un fort potentiel pour équilibrer précision et vitesse du suivi. Toutefois, il reste difficile d’adapter un modèle formé hors ligne à une cible en temps réel. Ce travail présente un Réseau Siamese à Attention Résiduelle (RASNet) pour un suivi d’objets à haute performance. Le modèle RASNet reformule le filtre de corrélation dans un cadre Siamese, tout en introduisant différentes mécanismes d’attention afin d’adapter le modèle sans mise à jour en ligne. En particulier, en exploitant l’attention générale entraînée hors ligne, l’attention résiduelle adaptée à la cible, ainsi que l’attention sur les canaux favorisant les caractéristiques, le RASNet atténue non seulement le surajustement (overfitting) dans l’entraînement des réseaux profonds, mais renforce également sa capacité discriminative et son adaptabilité grâce à la séparation entre l’apprentissage des représentations et celui du discriminant. L’architecture profonde proposée est entraînée de bout en bout et exploite pleinement les informations spatiales et temporelles riches pour assurer un suivi visuel robuste. Les résultats expérimentaux sur deux benchmarks récents, OTB-2015 et VOT2017, montrent que le suiveur RASNet atteint une précision de suivi de pointe tout en fonctionnant à plus de 80 images par seconde.