ODTrack : Apprentissage en ligne de jetons temporels denses pour le suivi visuel

La raisonnement contextuel en ligne et les associations entre des images vidéo consécutives sont essentiels pour percevoir les instances dans le suivi visuel. Cependant, la plupart des traqueurs actuels de pointe s'appuient de manière persistante sur des relations temporelles éparse entre les images de référence et les images de recherche via un mode hors ligne. Par conséquent, ils ne peuvent interagir que de manière indépendante au sein de chaque paire d'images et établir des corrélations temporelles limitées. Pour atténuer ce problème, nous proposons une pipeline de suivi au niveau vidéo simple, flexible et efficace, nommée ODTrack, qui associe densement les relations contextuelles des images vidéo par propagation en ligne de tokens. ODTrack reçoit des séquences d'images vidéo de longueur arbitraire pour capturer les relations trajectoires spatio-temporelles d'une instance, et compresse les caractéristiques discriminantes (informations de localisation) d'une cible en une séquence de tokens afin d'atteindre l'association image à image. Cette nouvelle solution apporte les avantages suivants : 1) les séquences de tokens purifiées peuvent servir de prompts pour l'inférence dans la prochaine image vidéo, permettant ainsi d'utiliser les informations passées pour guider l'inférence future ; 2) les stratégies complexes de mise à jour en ligne sont efficacement évitées par la propagation itérative des séquences de tokens, ce qui nous permet d'obtenir une représentation et un calcul du modèle plus efficaces. ODTrack atteint une nouvelle performance \textit{SOTA} (State of the Art) sur sept benchmarks tout en fonctionnant à une vitesse en temps réel. Le code source et les modèles sont disponibles à l'adresse \url{https://github.com/GXNU-ZhongLab/ODTrack}.