FEAR : Suiveur visuel rapide, efficace, précis et robuste

Nous présentons FEAR, une famille de trackers visuels de type Siamese rapides, efficaces, précis et robustes. Nous proposons une nouvelle approche efficace pour tirer parti d'une représentation à double modèle afin d'adapter le modèle objet, en intégrant des informations temporelles avec un seul paramètre apprenable. Nous améliorons également l'architecture du tracker grâce à un bloc de fusion au niveau des pixels. En intégrant des architectures de base sophistiquées avec les modules mentionnés ci-dessus, les trackers FEAR-M et FEAR-L surpassent la plupart des trackers Siamese sur plusieurs benchmarks académiques en termes de précision et d'efficacité. Lorsqu'il est utilisé avec une architecture de base légère, la version optimisée FEAR-XS offre une vitesse de suivi plus de dix fois supérieure à celle des trackers Siamese actuels, tout en maintenant des résultats proches de l'état de l'art. Le tracker FEAR-XS est 2,4 fois plus petit et 4,3 fois plus rapide que LightTrack, tout en offrant une précision supérieure. En outre, nous étendons la définition de l'efficacité du modèle en introduisant le benchmark FEAR, qui évalue à la fois la consommation énergétique et la vitesse d'exécution. Nous démontrons que la consommation énergétique constitue un facteur limitant pour les trackers sur les dispositifs mobiles. Le code source, les modèles pré-entraînés et le protocole d'évaluation sont disponibles à l'adresse suivante : https://github.com/PinataFarms/FEARTracker.