Mécanisme de fusion basé sur la génération pour le suivi multi-modal

Les modèles génératifs (GMs) ont suscité un intérêt de recherche croissant en raison de leur capacité remarquable à atteindre une compréhension globale. Cependant, leur potentiel d'application dans le domaine du suivi multi-modale est resté relativement sous-exploité. Dans ce contexte, nous cherchons à révéler le potentiel de l'utilisation des techniques génératives pour relever le défi crucial de la fusion d'informations en suivi multi-modale. Dans cet article, nous examinons deux techniques GMs prédominantes, à savoir les Réseaux Adversariaux Générateurs Conditionnels (CGANs) et les Modèles de Diffusion (DMs). Contrairement au processus de fusion standard où les caractéristiques de chaque modalité sont directement alimentées au bloc de fusion, nous conditionnons ces caractéristiques multi-modales avec du bruit aléatoire dans le cadre des GMs, transformant efficacement les échantillons d'entraînement originaux en instances plus complexes. Cette conception excelle à extraire des indices discriminants des caractéristiques, améliorant ainsi les performances finales du suivi. Pour évaluer quantitativement l'efficacité de notre approche, nous menons des expériences approfondies sur deux tâches de suivi multi-modale, trois méthodes de base et trois benchmarks difficiles. Les résultats expérimentaux montrent que le mécanisme de fusion basé sur les modèles génératifs proposé atteint des performances d'état de l'art, établissant de nouveaux records sur LasHeR et RGBD1K.