HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration du suivi d'objets visuels par le biais de l'incitation visuelle

Shih-Fang Chen Jun-Cheng Chen, Member, IEEE I-Hong Ju, Member, IEEE Yen-Yu Lin, Senior Member, IEEE

Résumé

L'apprentissage d'un modèle discriminatif pour distinguer une cible de ses distractions environnantes est essentiel pour le suivi générique d'objets visuels. L'adaptation dynamique de la représentation de la cible face aux distractions est un défi en raison des capacités discriminatives limitées des trackers actuels. Nous présentons un nouveau mécanisme de visualisation (Prompting) pour le suivi générique d'objets visuels (PiVOT) afin de résoudre ce problème. PiVOT propose un réseau de génération de prompts avec le modèle pré-entraîné CLIP pour générer et affiner automatiquement des prompts visuels, permettant ainsi le transfert des connaissances du modèle fondamental pour le suivi. Bien que CLIP offre des connaissances catégorielles larges, le tracker, formé sur des données spécifiques à l'instance, excelle dans la reconnaissance d'instances d'objets uniques. Par conséquent, PiVOT compile d'abord un prompt visuel mettant en évidence les emplacements potentiels de la cible. Pour transférer les connaissances de CLIP au tracker, PiVOT utilise CLIP pour affiner le prompt visuel en fonction des similarités entre les objets candidats et les modèles de référence parmi les cibles potentielles. Une fois que le prompt visuel est affiné, il peut mieux mettre en évidence les emplacements potentiels de la cible, réduisant ainsi les informations non pertinentes du prompt. Grâce au mécanisme de prompting proposé, le tracker peut générer des cartes de caractéristiques plus précises et conscientes des instances grâce à la guidance du prompt visuel, réduisant efficacement les distractions. La méthode proposée n'utilise pas CLIP pendant l'entraînement, conservant ainsi la même complexité d'entraînement et préservant la capacité généralisatrice du modèle fondamental pré-entraîné. De nombreuses expériences sur plusieurs benchmarks indiquent que PiVOT, utilisant le mécanisme de prompting proposé, peut supprimer les objets distrayants et améliorer le tracker.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp