Réexaminer les bancs d'essai de suivi RGBT sous l'angle de la validité modale : Un nouveau banc d'essai, un problème et une solution

Le suivi RGBT attire de plus en plus l'attention en raison de sa robustesse dans les scénarios de garantie multi-modale (MMW), tels que la nuit et les conditions météorologiques défavorables, où l'utilisation d'un seul mode de capteur ne permet pas d'assurer des résultats de suivi stables. Cependant, les benchmarks existants contiennent principalement des vidéos collectées dans des scénarios courants où les informations RGB et infrarouge thermique (TIR) sont de qualité suffisante. Ceci affaiblit la représentativité des benchmarks existants dans des conditions d'imagerie sévères, entraînant des échecs de suivi dans les scénarios MMW. Pour combler cette lacune, nous présentons un nouveau benchmark prenant en compte la validité du mode, appelé MV-RGBT, capturé spécifiquement à partir de scénarios MMW où soit le mode RGB (illumination extrême) soit le mode TIR (troncature thermique) est invalide. Par conséquent, il est divisé en deux sous-ensembles selon le mode valide, offrant une nouvelle perspective compositionnelle pour l'évaluation et fournissant des insights précieux pour les futures conceptions. De plus, MV-RGBT est le benchmark le plus diversifié de son genre, comprenant 36 catégories d'objets différentes capturées dans 19 scènes distinctes. En outre, en considérant les conditions d'imagerie sévères dans les scénarios MMW, un nouveau problème est posé dans le suivi RGBT, nommé « quand fusionner » (when to fuse), visant à stimuler le développement de stratégies de fusion pour ces scénarios. Pour faciliter sa discussion, nous proposons une nouvelle solution basée sur un mélange d'experts, appelée MoETrack, où chaque expert génère des résultats de suivi indépendants accompagnés d'un score de confiance. Des résultats exhaustifs démontrent le potentiel significatif de MV-RGBT pour faire progresser le suivi RGBT et conduisent à la conclusion que la fusion n'est pas toujours bénéfique, notamment dans les scénarios MMW. En outre, MoETrack obtient des résultats d'état de l'art sur plusieurs benchmarks, dont MV-RGBT, GTOT et LasHeR. Github : https://github.com/Zhangyong-Tang/MVRGBT.