HyperAIHyperAI

Command Palette

Search for a command to run...

ODTrack : Apprentissage en ligne de jetons temporels denses pour le suivi visuel

Yaozong Zheng Bineng Zhong* Qihua Liang Zhiyi Mo Shengping Zhang Xianxian Li

Résumé

La raisonnement contextuel en ligne et les associations entre des images vidéo consécutives sont essentiels pour percevoir les instances dans le suivi visuel. Cependant, la plupart des traqueurs actuels de pointe s'appuient de manière persistante sur des relations temporelles éparse entre les images de référence et les images de recherche via un mode hors ligne. Par conséquent, ils ne peuvent interagir que de manière indépendante au sein de chaque paire d'images et établir des corrélations temporelles limitées. Pour atténuer ce problème, nous proposons une pipeline de suivi au niveau vidéo simple, flexible et efficace, nommée ODTrack, qui associe densement les relations contextuelles des images vidéo par propagation en ligne de tokens. ODTrack reçoit des séquences d'images vidéo de longueur arbitraire pour capturer les relations trajectoires spatio-temporelles d'une instance, et compresse les caractéristiques discriminantes (informations de localisation) d'une cible en une séquence de tokens afin d'atteindre l'association image à image. Cette nouvelle solution apporte les avantages suivants : 1) les séquences de tokens purifiées peuvent servir de prompts pour l'inférence dans la prochaine image vidéo, permettant ainsi d'utiliser les informations passées pour guider l'inférence future ; 2) les stratégies complexes de mise à jour en ligne sont efficacement évitées par la propagation itérative des séquences de tokens, ce qui nous permet d'obtenir une représentation et un calcul du modèle plus efficaces. ODTrack atteint une nouvelle performance \textit{SOTA} (State of the Art) sur sept benchmarks tout en fonctionnant à une vitesse en temps réel. Le code source et les modèles sont disponibles à l'adresse \url{https://github.com/GXNU-ZhongLab/ODTrack}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ODTrack : Apprentissage en ligne de jetons temporels denses pour le suivi visuel | Articles | HyperAI