Suivi RGB-T efficace par distillation inter-modale

La plupart des suiveurs RGB-T actuels adoptent une architecture à deux flux pour extraire des caractéristiques unimodales en RGB et en infrarouge thermique, combinées à des stratégies de fusion complexes afin d’obtenir une fusion de caractéristiques multimodales. Ces approches nécessitent un grand nombre de paramètres, ce qui limite leur application dans des contextes réels. D’un autre côté, un suiveur RGB-T compact peut offrir une efficacité computationnelle élevée, mais souffre souvent d’une dégradation significative des performances en raison de la faiblesse de sa capacité de représentation des caractéristiques. Pour remédier à ce dilemme, nous proposons un cadre de distillation intermodale visant à réduire l’écart de performance entre un suiveur compact et un suiveur performant. Plus précisément, nous introduisons un module de distillation des caractéristiques spécifique-commun, qui transfère à la fois les informations communes aux deux modalités et les informations spécifiques à chaque modalité d’un réseau profond à deux flux vers un réseau plus léger à un seul flux. Par ailleurs, un module de distillation à multiples chemins est proposé pour guider un module de fusion simple à apprendre des informations multimodales plus précises à partir d’un mécanisme de fusion soigneusement conçu, en exploitant plusieurs voies d’information. Nous validons l’efficacité de notre méthode à l’aide d’expériences étendues sur trois benchmarks RGB-T, démontrant des performances de pointe tout en consommant considérablement moins de ressources computationnelles.