HyperAIHyperAI

Command Palette

Search for a command to run...

Suivi RGB-T par apprentissage mutuel multi-modal

Yang Luo Xiqing Guo Hui Feng Lei Ao

Résumé

Le suivi d'objets basé sur la fusion d'images visibles et thermiques, connu sous le nom de suivi RGB-T, a suscité une attention croissante de la part des chercheurs ces dernières années. La manière d'atteindre une fusion plus complète des informations provenant des deux modalités avec un coût computationnel moindre est un problème que les chercheurs explorent depuis longtemps. Récemment, avec l'émergence de l'apprentissage par suggestion (prompt learning) dans la vision par ordinateur, il est possible de transférer efficacement les connaissances des grands modèles visuels vers les tâches en aval. En tenant compte de la forte complémentarité entre les modalités visible et thermique, nous proposons une architecture de suivi basée sur l'apprentissage mutuel par suggestion entre les deux modalités. Nous avons également conçu un générateur de suggestions (prompter) léger qui intègre des mécanismes d'attention en deux dimensions pour transférer l'information d'une modalité à l'autre avec des coûts computationnels réduits, en l'intégrant à chaque couche du backbone. De nombreuses expériences ont démontré que notre architecture de suivi proposée est à la fois efficace et performante, atteignant des résultats de pointe tout en maintenant des vitesses d'exécution élevées.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp