HyperAIHyperAI

Command Palette

Search for a command to run...

Suivi RGB-T par fusion croisée avec adaptateur bidirectionnel

Zhirong Zeng Xiaotao Liu* Meng Sun Hongyu Wang Jing Liu

Résumé

De nombreux trackers RGB-T de pointe ont obtenu des résultats remarquables grâce à la fusion modale. Cependant, ces trackers négligent souvent les informations temporelles ou échouent à les exploiter pleinement, ce qui entraîne un équilibre inefficace entre les informations multimodales et temporelles. Pour remédier à ce problème, nous proposons une nouvelle architecture de suivi RGB-T par fusion croisée (CFBT) qui garantit la pleine participation de plusieurs modalités dans le suivi tout en fusionnant dynamiquement les informations temporelles. L'efficacité de CFBT repose sur trois nouveaux modules de fusion d'informations spatiales et temporelles croisées : Fusion d'Augmentation Spatio-Temporelle Croisée (CSTAF), Fusion de Complémentarité Spatio-Temporelle Croisée (CSTCF) et Adaptateur Spatio-Temporel à Deux Flux (DSTA). CSTAF utilise un mécanisme d'attention croisée pour améliorer globalement la représentation des caractéristiques du modèle. CSTCF exploite l'information complémentaire entre différentes branches pour renforcer les caractéristiques de la cible et atténuer celles du fond. DSTA adopte le concept d'adaptateur pour fusionner adaptativement l'information complémentaire provenant de plusieurs branches au sein de la couche transformer, en utilisant la modalité RGB comme intermédiaire. Ces fusions ingénieuses de multiples perspectives ajoutent moins de 0,3 % des paramètres modaux totaux, mais elles permettent effectivement un équilibre efficace entre les informations multimodales et temporelles. Des expériences approfondies sur trois benchmarks populaires de suivi RGB-T montrent que notre méthode atteint une nouvelle performance d'état de l'art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp