Dans cette étude, nous proposons un nouveau cadre de suivi RGB-T en modélisant conjointement les indices d'apparence et de mouvement. Premièrement, pour obtenir un modèle d'apparence robuste, nous développons une nouvelle méthode de fusion tardive pour inférer les cartes de poids de fusion des modalités RGB et thermique (T). Les poids de fusion sont déterminés à l'aide de réseaux de fusion multimodale globaux et locaux entraînés hors ligne, puis adoptés pour combiner linéairement les cartes de réponse des modalités RGB et T. Deuxièmement, lorsque l'indice d'apparence est peu fiable, nous prenons en compte de manière exhaustive les indices de mouvement, c'est-à-dire les mouvements de la cible et de la caméra, afin de rendre le suiveur plus robuste. Nous proposons également un commutateur de suiveur pour basculer flexiblement entre le suiveur d'apparence et le suiveur de mouvement. De nombreux résultats sur trois jeux de données récents en suivi RGB-T montrent que le suiveur proposé performe significativement mieux que d'autres algorithmes d'avant-garde.