Les données sources RGB et thermiques sont confrontées à des défis à la fois communs et spécifiques, et l'exploration et l'exploitation de ces défis jouent un rôle crucial dans la représentation de l'apparence cible en suivi RGBT. Dans cet article, nous proposons un nouveau réseau neuronal conscient des défis pour gérer les défis partagés entre les modalités (par exemple, mouvement rapide, variation d'échelle et occultation) ainsi que les défis spécifiques à chaque modalité (par exemple, variation d'éclairage et chevauchement thermique). Plus particulièrement, nous concevons plusieurs branches partageant des paramètres dans chaque couche afin de modéliser l'apparence cible sous les défis partagés entre les modalités, et plusieurs branches indépendantes en termes de paramètres sous les défis spécifiques à chaque modalité. Sur la base de l'observation que les indices spécifiques aux modalités différentes contiennent généralement des avantages complémentaires, nous proposons un module de guidage pour transférer des caractéristiques discriminantes d'une modalité à une autre, ce qui peut améliorer la capacité discriminante d'une modalité faible. De plus, toutes les branches sont agrégées de manière adaptative et intégrées en parallèle dans le réseau principal afin de former efficacement des représentations cibles plus discriminantes. Ces branches conscientes des défis sont capables de modéliser l'apparence cible sous certains défis, permettant ainsi d'apprendre des représentations cibles avec peu de paramètres même dans le cas de données d'entraînement insuffisantes. Les résultats expérimentaux montreront que notre méthode fonctionne à une vitesse en temps réel tout en offrant de bonnes performances par rapport aux méthodes les plus avancées sur trois jeux de données de référence.