HyperAIHyperAI

Command Palette

Search for a command to run...

Mécanisme de fusion basé sur la génération pour le suivi multi-modal

Zhangyong Tang Tianyang Xu Xuefeng Zhu Xiao-Jun Wu* Josef Kittler

Résumé

Les modèles génératifs (GMs) ont suscité un intérêt de recherche croissant en raison de leur capacité remarquable à atteindre une compréhension globale. Cependant, leur potentiel d'application dans le domaine du suivi multi-modale est resté relativement sous-exploité. Dans ce contexte, nous cherchons à révéler le potentiel de l'utilisation des techniques génératives pour relever le défi crucial de la fusion d'informations en suivi multi-modale. Dans cet article, nous examinons deux techniques GMs prédominantes, à savoir les Réseaux Adversariaux Générateurs Conditionnels (CGANs) et les Modèles de Diffusion (DMs). Contrairement au processus de fusion standard où les caractéristiques de chaque modalité sont directement alimentées au bloc de fusion, nous conditionnons ces caractéristiques multi-modales avec du bruit aléatoire dans le cadre des GMs, transformant efficacement les échantillons d'entraînement originaux en instances plus complexes. Cette conception excelle à extraire des indices discriminants des caractéristiques, améliorant ainsi les performances finales du suivi. Pour évaluer quantitativement l'efficacité de notre approche, nous menons des expériences approfondies sur deux tâches de suivi multi-modale, trois méthodes de base et trois benchmarks difficiles. Les résultats expérimentaux montrent que le mécanisme de fusion basé sur les modèles génératifs proposé atteint des performances d'état de l'art, établissant de nouveaux records sur LasHeR et RGBD1K.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp