Ces dernières années, les méthodes basées sur les Filtres de Corrélation Discriminants (DCF) ont considérablement fait progresser l'état de l'art en matière de suivi. Cependant, dans la quête d'une performance de suivi toujours croissante, leur vitesse caractéristique et leur capacité à fonctionner en temps réel ont progressivement diminué. De plus, les modèles de plus en plus complexes, avec un nombre massif de paramètres entraînables, ont introduit le risque d'un surapprentissage sévère. Dans ce travail, nous abordons les principales causes des problèmes de complexité computationnelle et de surapprentissage, dans le but d'améliorer simultanément la vitesse et la performance.Nous reprenons la formulation fondamentale du DCF et introduisons : (i) un opérateur de convolution factorisé, qui réduit drastiquement le nombre de paramètres du modèle ; (ii) un modèle génératif compact de la distribution des échantillons d'entraînement, qui réduit considérablement la complexité mémoire et temporelle tout en offrant une meilleure diversité d'échantillons ; (iii) une stratégie conservatrice pour la mise à jour du modèle, améliorant sa robustesse et réduisant sa complexité. Nous menons des expériences exhaustives sur quatre benchmarks : VOT2016, UAV123, OTB-2015 et TempleColor. Lorsqu'on utilise des caractéristiques profondes coûteuses, notre traceur offre un accélération 20 fois supérieure et atteint une augmentation relative de 13,0 % de l'Overlap Moyen Attendu par rapport à la méthode classée première au défi VOT2016. De plus, notre variante rapide utilisant des caractéristiques conçues manuellement fonctionne à 60 Hz sur un seul CPU tout en obtenant un AUC de 65,0 % sur OTB-2015.