Command Palette
Search for a command to run...
SDSTrack : Apprentissage d'adaptateur symétrique par auto-distillation pour le suivi multi-modal d'objets visuels
SDSTrack : Apprentissage d'adaptateur symétrique par auto-distillation pour le suivi multi-modal d'objets visuels
Xiaojun Hou; Jiazheng Xing; Yijie Qian; Yaowei Guo; Shuo Xin; Junhao Chen; Kai Tang; Mengmeng Wang; Zhengkai Jiang; Liang Liu; Yong Liu
Résumé
Le suivi d'objets visuels multimodaux (VOT) a récemment attiré une attention considérable en raison de sa robustesse. Les premières recherches se sont concentrées sur l'ajustement complet des traceurs basés sur RGB, ce qui était inefficace et manquait de représentation généralisée en raison de la rareté des données multimodales. Par conséquent, les études récentes ont utilisé l'ajustement par prompt pour transférer les traceurs pré-entraînés basés sur RGB vers des données multimodales. Cependant, le fossé modal limite le rappel des connaissances pré-entraînées, et la dominance du mode RGB persiste, empêchant l'utilisation pleine et entière des informations provenant d'autres modalités. Pour résoudre ces problèmes, nous proposons un nouveau cadre de suivi multimodal symétrique appelé SDSTrack. Nous introduisons une adaptation légère pour un ajustement efficace, qui transfère directement la capacité d'extraction de caractéristiques du domaine RGB à d'autres domaines avec un nombre limité de paramètres entraînables et intègre les caractéristiques multimodales de manière équilibrée et symétrique. De plus, nous concevons une stratégie complémentaire de distillation de patches masqués pour améliorer la robustesse des traceurs dans des environnements complexes tels que les conditions météorologiques extrêmes, une mauvaise qualité d'imagerie et des pannes de capteurs. Des expériences approfondies montrent que SDSTrack surpassent les méthodes les plus avancées dans divers scénarios de suivi multimodal, notamment le suivi RGB+Profondeur, RGB+Thermique et RGB+Événementiel, et présente des résultats remarquables dans des conditions extrêmes. Notre code source est disponible à l'adresse suivante : https://github.com/hoqolo/SDSTrack.