Dans cet article, nous abordons le problème du suivi d’objets en ligne sans modèle, fondé sur des représentations couleur. Selon les résultats des évaluations récentes sur des benchmarks, de tels suiveurs ont tendance à dériver vers des régions présentant une apparence similaire à celle de l’objet d’intérêt. Pour surmonter cette limitation, nous proposons un modèle discriminant efficace permettant d’identifier à l’avance les régions potentiellement distractrices. Par ailleurs, nous exploitons cette connaissance pour adapter à l’avance la représentation de l’objet, de manière à supprimer les distractions et à réduire de manière significative le risque de dérive. Nous évaluons notre approche sur des jeux de données récents de suivi en ligne, obtenant des résultats de pointe. En particulier, notre méthode se distingue par une meilleure précision et une robustesse supérieure par rapport aux algorithmes de suivi récents. En outre, l’approche proposée permet une implémentation efficace, rendant possible le suivi d’objets en temps réel.