Fusion Multi-Modale pour le Suivi RGB-T de bout en bout

Nous proposons un cadre de suivi intégral pour la fusion des modalités RGB et TIR (Thermal Infrared) dans le suivi RGB-T. Notre tracker de base est DiMP (Discriminative Model Prediction), qui utilise un réseau de prédiction ciblée soigneusement conçu, formé intégralement à l'aide d'une perte discriminante. Nous analysons l'efficacité de la fusion des modalités dans chacun des principaux composants de DiMP, à savoir l'extracteur de caractéristiques, le réseau d'estimation cible et le classificateur. Nous examinons plusieurs mécanismes de fusion agissant à différents niveaux du cadre, y compris au niveau des pixels, au niveau des caractéristiques et au niveau de la réponse. Notre tracker est formé de manière intégrale, permettant aux composants d'apprendre comment fusionner les informations provenant des deux modalités. Pour former notre modèle, nous générons un vaste ensemble de données RGB-T en considérant un ensemble de données annotées pour le suivi RGB (GOT-10k) et en synthétisant des images TIR appariées à l'aide d'une approche de traduction d'image à image. Nous menons une série d'expériences approfondies sur les ensembles de données VOT-RGBT2019 et RGBT210, évaluant chaque type de fusion modale sur chaque composant du modèle. Les résultats montrent que les mécanismes de fusion proposés améliorent les performances par rapport aux méthodes mono-modales. Nous obtenons nos meilleurs résultats lorsque nous fusionnons au niveau des caractéristiques, tant pour l'IoU-Net que pour le prédicteur du modèle, avec un score EAO (Expected Average Overlap) de 0,391 sur l'ensemble de données VOT-RGBT2019. Avec ce mécanisme de fusion, nous atteignons les meilleures performances actuelles sur l'ensemble de données RGBT210.