Réseau de Conditions Mutuelles à Portes Duales pour le Suivi RGBT

Les modalités de faible qualité contiennent non seulement une grande quantité d'informations bruyantes mais aussi certaines caractéristiques discriminantes dans le suivi RGBT. Cependant, les potentiels des modalités de faible qualité ne sont pas bien exploités dans les algorithmes de suivi RGBT existants. Dans ce travail, nous proposons un nouveau réseau de conditions mutuelles à portes duales pour tirer pleinement parti des informations discriminantes de toutes les modalités tout en atténuant les effets du bruit des données. Plus précisément, nous concevons un module de conditions mutuelles qui utilise les informations discriminantes d'une modalité comme condition pour guider l'apprentissage des caractéristiques d'apparence cible dans une autre modalité. Ce module peut efficacement améliorer les représentations cibles de toutes les modalités, même en présence de modalités de faible qualité. Pour améliorer la qualité des conditions et réduire davantage le bruit des données, nous proposons un mécanisme à portes duales et l'intégrons au module de conditions mutuelles. Pour faire face aux échecs de suivi causés par des mouvements soudains de la caméra, qui se produisent fréquemment dans le suivi RGBT, nous avons conçu une stratégie de re-échantillonnage basée sur des algorithmes d'écoulement optique (optical flow). Cette méthode n'augmente pas considérablement le coût computationnel car nous effectuons le calcul de l'écoulement optique uniquement lorsque la prédiction du modèle est peu fiable, puis exécutons le re-échantillonnage lorsque des mouvements soudains de la caméra sont détectés. Des expériences approfondies sur quatre jeux de données基准数据集 (benchmark datasets) montrent que notre méthode se compare favorablement aux algorithmes de suivi les plus avancés.Note: "基准数据集" is translated as "jeux de données benchmark" to maintain the technical term commonly used in French academic or tech writing.