MFGNet : Génération dynamique de filtres adaptés aux modalités pour le suivi RGB-T

De nombreux traqueurs RGB-T tentent d'obtenir une représentation de caractéristiques robuste en utilisant un schéma de pondération adaptative (ou mécanisme d'attention). Contrairement à ces travaux, nous proposons un nouveau module de génération de filtres modality-aware dynamiques (nommé MFGNet) pour améliorer la communication des messages entre les données visibles et thermiques en ajustant de manière adaptative les noyaux de convolution pour diverses images d'entrée dans le suivi pratique. Étant donné des paires d'images comme entrée, nous commençons par encoder leurs caractéristiques avec le réseau principal. Ensuite, nous concaténons ces cartes de caractéristiques et générons des filtres modality-aware dynamiques avec deux réseaux indépendants. Les filtres visibles et thermiques seront utilisés pour effectuer une opération de convolution dynamique sur leurs cartes de caractéristiques d'entrée respectives. Inspirés par la connexion résiduelle, les cartes de caractéristiques générées visibles et thermiques seront résumées avec les cartes de caractéristiques d'entrée. Les cartes de caractéristiques augmentées seront ensuite alimentées au module RoI align pour générer des caractéristiques au niveau de l'instance pour la classification ultérieure. Pour aborder les problèmes causés par l'occlusion importante, le mouvement rapide et le hors-champ, nous proposons d'effectuer une recherche locale et globale conjointe en exploitant un nouveau mécanisme d'attention ciblé directionnel. Un réseau neuronal récurrent spatial et temporel est utilisé pour capturer le contexte directionnel afin de prédire l'attention globale avec précision. Des expériences approfondies sur trois grands ensembles de données基准数据集 (benchmark datasets) RGB-T ont validé l'efficacité de notre algorithme proposé. Le code source de cet article est disponible à \textcolor{magenta}{\url{https://github.com/wangxiao5791509/MFG_RGBT_Tracking_PyTorch}}.Note: I have kept "benchmark datasets" in English as it is commonly used in French academic writing as well, but if you prefer a full French translation, it would be "ensembles de données standards".