Suivi RGB-T par apprentissage mutuel multi-modal

Le suivi d'objets basé sur la fusion d'images visibles et thermiques, connu sous le nom de suivi RGB-T, a suscité une attention croissante de la part des chercheurs ces dernières années. La manière d'atteindre une fusion plus complète des informations provenant des deux modalités avec un coût computationnel moindre est un problème que les chercheurs explorent depuis longtemps. Récemment, avec l'émergence de l'apprentissage par suggestion (prompt learning) dans la vision par ordinateur, il est possible de transférer efficacement les connaissances des grands modèles visuels vers les tâches en aval. En tenant compte de la forte complémentarité entre les modalités visible et thermique, nous proposons une architecture de suivi basée sur l'apprentissage mutuel par suggestion entre les deux modalités. Nous avons également conçu un générateur de suggestions (prompter) léger qui intègre des mécanismes d'attention en deux dimensions pour transférer l'information d'une modalité à l'autre avec des coûts computationnels réduits, en l'intégrant à chaque couche du backbone. De nombreuses expériences ont démontré que notre architecture de suivi proposée est à la fois efficace et performante, atteignant des résultats de pointe tout en maintenant des vitesses d'exécution élevées.