Les images visibles et infrarouges présentent chacune leurs avantages et inconvénients, ce qui a attiré de plus en plus d'attention sur le suivi RGBT. Les points clés du suivi RGBT résident dans l'extraction et la fusion des caractéristiques des images visibles et infrarouges. Les méthodes actuelles de suivi RGBT accordent généralement une grande importance aux caractéristiques individuelles (caractéristiques extraites à partir d'images d'une seule caméra) et aux caractéristiques communes (caractéristiques extraites et fusionnées à partir d'une caméra RGB et d'une caméra thermique), tout en négligeant les contributions différentes et dynamiques des caractéristiques individuelles et communes pour différentes séquences d'images enregistrées. Cet article propose une nouvelle méthode de suivi RGBT, appelée Réseau de Fusion Dynamique (DFNet), qui adopte une structure à deux flux, où deux noyaux de convolution non partagés sont utilisés dans chaque couche pour extraire les caractéristiques individuelles. De plus, DFNet dispose de noyaux de convolution partagés pour chaque couche afin d'extraire les caractéristiques communes. Les noyaux de convolution non partagés et partagés sont pondérés et sommés de manière adaptative selon les différentes paires d'images, permettant ainsi à DFNet de gérer les contributions différentes pour différentes séquences. DFNet offre une vitesse rapide, atteignant 28,658 images par seconde (FPS). Les résultats expérimentaux montrent que lorsque DFNet augmente seulement les opérations Mult-Adds de 0,02% par rapport à la méthode de fusion basée sur des noyaux de convolution non partagés, les taux de précision (PR) et de succès (SR) atteignent respectivement 88,1% et 71,9%.