HyperAIHyperAI

Command Palette

Search for a command to run...

SDSTrack : Apprentissage d'adaptateur symétrique par auto-distillation pour le suivi multi-modal d'objets visuels

Xiaojun Hou; Jiazheng Xing; Yijie Qian; Yaowei Guo; Shuo Xin; Junhao Chen; Kai Tang; Mengmeng Wang; Zhengkai Jiang; Liang Liu; Yong Liu

Résumé

Le suivi d'objets visuels multimodaux (VOT) a récemment attiré une attention considérable en raison de sa robustesse. Les premières recherches se sont concentrées sur l'ajustement complet des traceurs basés sur RGB, ce qui était inefficace et manquait de représentation généralisée en raison de la rareté des données multimodales. Par conséquent, les études récentes ont utilisé l'ajustement par prompt pour transférer les traceurs pré-entraînés basés sur RGB vers des données multimodales. Cependant, le fossé modal limite le rappel des connaissances pré-entraînées, et la dominance du mode RGB persiste, empêchant l'utilisation pleine et entière des informations provenant d'autres modalités. Pour résoudre ces problèmes, nous proposons un nouveau cadre de suivi multimodal symétrique appelé SDSTrack. Nous introduisons une adaptation légère pour un ajustement efficace, qui transfère directement la capacité d'extraction de caractéristiques du domaine RGB à d'autres domaines avec un nombre limité de paramètres entraînables et intègre les caractéristiques multimodales de manière équilibrée et symétrique. De plus, nous concevons une stratégie complémentaire de distillation de patches masqués pour améliorer la robustesse des traceurs dans des environnements complexes tels que les conditions météorologiques extrêmes, une mauvaise qualité d'imagerie et des pannes de capteurs. Des expériences approfondies montrent que SDSTrack surpassent les méthodes les plus avancées dans divers scénarios de suivi multimodal, notamment le suivi RGB+Profondeur, RGB+Thermique et RGB+Événementiel, et présente des résultats remarquables dans des conditions extrêmes. Notre code source est disponible à l'adresse suivante : https://github.com/hoqolo/SDSTrack.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp