De Two-Stream à One-Stream : Suivi RGB-T Efficace par Apprentissage Mutuel et Distillation de Connaissances

En raison de la nature complémentaire des modalités de lumière visible et d'infrarouge thermique, le suivi d'objets basé sur la fusion d'images lumineuses visibles et d'images thermiques (appelé suivi RGB-T) a suscité une attention croissante de la part des chercheurs ces dernières années. La manière dont on peut réaliser une fusion plus complète des informations provenant des deux modalités à moindre coût est un problème que les chercheurs explorent. Inspirés par l'apprentissage par prompt visuel, nous avons conçu une nouvelle architecture de suivi RGB-T à double flux basée sur l'apprentissage mutuel intermodal, et utilisé ce modèle comme enseignant pour guider un modèle étudiant à flux unique vers un apprentissage rapide grâce aux techniques de distillation de connaissances. De nombreuses expériences ont montré que, comparé à d'autres traceurs RGB-T similaires, notre modèle enseignant a atteint le taux de précision le plus élevé, tandis que le modèle étudiant, avec un taux de précision comparable à celui du modèle enseignant, a réalisé une vitesse d'inférence plus de trois fois supérieure à celle du modèle enseignant. (Les codes seront disponibles si acceptés.)