HyperAIHyperAI

Command Palette

Search for a command to run...

Suivi par spécification par langage naturel

Arnold W. M. Smeulders Efstratios Gavves Zhenyang Li Ran Tao Cees G. M. Snoek

Résumé

Cet article vise à suivre un objet cible dans une séquence vidéo. Contrairement aux approches classiques qui exigent de spécifier l’objet cible dans la première image de la vidéo à l’aide d’une boîte englobante (bounding box), nous proposons de suivre l’objet à partir d’une description linguistique naturelle de celui-ci. Cette approche permet une interaction homme-machine plus naturelle tout en offrant une voie potentielle pour améliorer les performances du suivi. Nous définissons trois variantes de suivi basé sur une spécification linguistique : une première fondée uniquement sur une description linguistique de l’objet, une seconde reposant sur une spécification visuelle de l’objet dérivée d’une description linguistique, et une troisième exploitant conjointement les deux modalités. Pour illustrer le potentiel du suivi par spécification linguistique naturelle, nous étendons deux jeux de données populaires de suivi vidéo avec des descriptions linguistiques et présentons les résultats d’expériences. Enfin, nous esquissons de nouveaux scénarios de suivi dans des contextes de surveillance et d’analyse de flux vidéo en temps réel, qui deviennent désormais envisageables grâce à une spécification linguistique de l’objet cible.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp