En observant que les caractéristiques sémantiques apprises dans une tâche de classification d'images et les caractéristiques d'apparence apprises dans une tâche de correspondance de similarité se complètent mutuellement, nous avons conçu un réseau Siames jumeau, nommé SA-Siam, pour le suivi d'objets en temps réel. Le SA-Siam est composé d'une branche sémantique et d'une branche d'apparence. Chaque branche est un réseau Siames axé sur l'apprentissage de la similarité. Un choix de conception important dans le SA-Siam est de former séparément les deux branches afin de préserver l'hétérogénéité des deux types de caractéristiques. De plus, nous proposons un mécanisme d'attention par canaux pour la branche sémantique. Les poids par canaux sont calculés en fonction des activations des canaux autour de la position cible. Bien que l'architecture héritée de SiamFC \cite{SiamFC} permette à notre traceur de fonctionner au-delà du temps réel, le design jumeau et le mécanisme d'attention améliorent considérablement les performances de suivi. Le SA-Siam proposé surpasse tous les autres traceurs en temps réel avec une marge importante sur les benchmarks OTB-2013/50/100.