Suivi d'objets vidéo : modèle unique et modalité quelconque

Dans le domaine du suivi d'objets vidéo, des modalités auxiliaires telles que la profondeur, l'infrarouge thermique ou les données événementielles sont apparues comme des ressources précieuses pour compléter les traceurs RGB. En pratique, la plupart des traceurs RGB existants apprennent un seul ensemble de paramètres pour les utiliser à travers différents jeux de données et applications. Cependant, une unification similaire basée sur un seul modèle pour le suivi multi-modalités présente plusieurs défis. Ces défis proviennent de la hétérogénéité inhérente des entrées – chacune avec ses représentations spécifiques à la modalité, de la rareté des jeux de données multi-modaux et de l'absence de toutes les modalités en tout temps.Dans ce travail, nous présentons Un-Track, un traceur unifié utilisant un seul ensemble de paramètres pour toute modalité. Pour gérer toute modalité, notre méthode apprend leur espace latent commun grâce à des techniques de factorisation et de reconstruction de rang faible. Plus important encore, nous utilisons uniquement les paires RGB-X pour apprendre cet espace latent commun. Cette représentation partagée unique lie harmonieusement toutes les modalités ensemble, permettant une unification efficace et accommodant toute modalité manquante, tout cela au sein d'une architecture basée sur un transformateur unique. Notre Un-Track obtient une amélioration absolue de +8,1 points du F-score sur le jeu de données DepthTrack, en introduisant seulement +2,14 (sur 21,50) milliards d'opérations flottantes (GFLOPs) avec +6,6 millions (sur 93 millions) de paramètres, grâce à une stratégie d'incitation simple mais efficace. Des comparaisons étendues sur cinq jeux de données de référence avec différentes modalités montrent que Un-Track dépasse à la fois les traceurs unifiés d'état de l'art et leurs homologues spécifiques à chaque modalité, validant ainsi notre efficacité et notre praticité. Le code source est disponible publiquement sur https://github.com/Zongwei97/UnTrack.