HyperAIHyperAI

Command Palette

Search for a command to run...

Suivi d'objets vidéo : modèle unique et modalité quelconque

Zongwei Wu Jilai Zheng Xiangxuan Ren Florin-Alexandru Vasluianu Chao Ma* Danda Pani Paudel Luc Van Gool Radu Timofte

Résumé

Dans le domaine du suivi d'objets vidéo, des modalités auxiliaires telles que la profondeur, l'infrarouge thermique ou les données événementielles sont apparues comme des ressources précieuses pour compléter les traceurs RGB. En pratique, la plupart des traceurs RGB existants apprennent un seul ensemble de paramètres pour les utiliser à travers différents jeux de données et applications. Cependant, une unification similaire basée sur un seul modèle pour le suivi multi-modalités présente plusieurs défis. Ces défis proviennent de la hétérogénéité inhérente des entrées – chacune avec ses représentations spécifiques à la modalité, de la rareté des jeux de données multi-modaux et de l'absence de toutes les modalités en tout temps.Dans ce travail, nous présentons Un-Track, un traceur unifié utilisant un seul ensemble de paramètres pour toute modalité. Pour gérer toute modalité, notre méthode apprend leur espace latent commun grâce à des techniques de factorisation et de reconstruction de rang faible. Plus important encore, nous utilisons uniquement les paires RGB-X pour apprendre cet espace latent commun. Cette représentation partagée unique lie harmonieusement toutes les modalités ensemble, permettant une unification efficace et accommodant toute modalité manquante, tout cela au sein d'une architecture basée sur un transformateur unique. Notre Un-Track obtient une amélioration absolue de +8,1 points du F-score sur le jeu de données DepthTrack, en introduisant seulement +2,14 (sur 21,50) milliards d'opérations flottantes (GFLOPs) avec +6,6 millions (sur 93 millions) de paramètres, grâce à une stratégie d'incitation simple mais efficace. Des comparaisons étendues sur cinq jeux de données de référence avec différentes modalités montrent que Un-Track dépasse à la fois les traceurs unifiés d'état de l'art et leurs homologues spécifiques à chaque modalité, validant ainsi notre efficacité et notre praticité. Le code source est disponible publiquement sur https://github.com/Zongwei97/UnTrack.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Suivi d'objets vidéo : modèle unique et modalité quelconque | Articles | HyperAI