Command Palette
Search for a command to run...
SUTrack : Vers un Suivi d'Objet Unique Simple et Unifié
SUTrack : Vers un Suivi d'Objet Unique Simple et Unifié
Xin Chen Ben Kang Wanting Geng Jiawen Zhu Yi Liu Dong Wang Huchuan Lu
Résumé
Dans cet article, nous proposons un cadre simple mais unifié pour le suivi d'objet unique (SOT), appelé SUTrack. Ce cadre intègre cinq tâches de suivi d'objet unique (suivi basé sur l'image RGB, suivi RGB-Profondeur, suivi RGB-Thermique, suivi RGB-Événement, suivi RGB-Language) dans un seul modèle entraîné en une seule session. En raison de la nature distincte des données, les méthodes actuelles conçoivent généralement des architectures spécifiques à chaque tâche et entraînent des modèles séparés. Cette fragmentation entraîne des processus d'entraînement redondants, des innovations technologiques répétitives et un partage limité des connaissances entre modalités. À l'inverse, SUTrack démontre qu'un seul modèle doté d'une représentation d'entrée unifiée peut efficacement traiter diverses tâches courantes de suivi d'objet unique, éliminant ainsi la nécessité de conceptions spécifiques à chaque tâche et de sessions d'entraînement distinctes. En outre, nous introduisons une stratégie d'entraînement auxiliaire de reconnaissance de tâche ainsi qu'une embedding de type de token souple, afin d'améliorer davantage les performances de SUTrack avec un surcoût minimal. Les expériences montrent que SUTrack surpasser les approches antérieures spécifiques à chaque tâche sur 11 jeux de données couvrant cinq tâches de suivi d'objet unique. Par ailleurs, nous proposons une gamme de modèles adaptés aux dispositifs embarqués aussi bien qu'aux GPU haute performance, offrant un bon compromis entre vitesse et précision. Nous espérons que SUTrack pourra servir de base solide pour des recherches futures prometteuses sur les modèles unifiés de suivi. Le code et les modèles sont disponibles sur github.com/chenxin-dlut/SUTrack.