La fusion de caractéristiques multi-modales en tant que composante d'enquête centrale du suivi RGBT a suscité de nombreuses études de fusion ces dernières années. Cependant, les méthodes actuelles de suivi RGBT adoptent largement des structures de fusion fixes pour intégrer les caractéristiques multi-modales, ce qui rend difficile la gestion des divers défis dans des scénarios dynamiques. Pour résoudre ce problème, cette étude présente une nouvelle méthode de \emph{F}usion basée sur l'\emph{A}ttention appelée AFter (Attention-based Fusion router), qui optimise la structure de fusion pour s'adapter aux scénarios dynamiques difficiles, afin d'assurer un suivi RGBT robuste. Plus précisément, nous concevons un espace de structures de fusion basé sur un réseau d'attention hiérarchique, chaque unité de fusion basée sur l'attention correspondant à une opération de fusion et une combinaison de ces unités d'attention correspondant à une structure de fusion. En optimisant la combinaison des unités de fusion basées sur l'attention, nous pouvons sélectionner dynamiquement la structure de fusion pour s'adapter aux divers scénarios difficiles. Contrairement à la recherche complexe de différentes structures dans les algorithmes de recherche d'architecture neuronale, nous développons un algorithme de routage dynamique qui équipe chaque unité de fusion basée sur l'attention avec un routeur pour prédire les poids combinés, permettant ainsi une optimisation efficace de la structure de fusion. Des expériences approfondies sur cinq ensembles de données principaux en suivi RGBT démontrent les performances supérieures du AFter proposé par rapport aux meilleurs trackers RGBT actuels. Nous mettons le code à disposition sur https://github.com/Alexadlu/AFter.