HyperAIHyperAI

Command Palette

Search for a command to run...

Hopper : Transformateur à plusieurs sauts pour le raisonnement spatio-temporel

Honglu Zhou Asim Kadav Farley Lai Alexandru Niculescu-Mizil Martin Renqiang Min Mubbasir Kapadia Hans Peter Graf

Résumé

Cet article aborde le problème du raisonnement centré sur les objets dans le domaine spatiotemporal des vidéos. Le cœur de notre approche repose sur le concept de permanence des objets, c’est-à-dire la capacité à raisonner sur la localisation des objets tout au long de la vidéo, même lorsqu’ils sont masqués, contenus ou transportés par d’autres objets. Les approches existantes fondées sur l’apprentissage profond souffrent souvent de biais spatiotemporels lorsqu’elles sont appliquées à des problèmes de raisonnement vidéo. Nous proposons Hopper, une méthode qui utilise un Transformer à multi-sauts pour raisonner sur la permanence des objets dans les vidéos. Étant donné une vidéo et une requête de localisation, Hopper reasonne à partir des images et des trajectoires d’objets afin de sauter automatiquement, de manière itérative, sur des cadres critiques afin de prédire la position finale de l’objet d’intérêt. Nous démontrons l’efficacité de l’utilisation d’une perte contrastive pour réduire les biais spatiotemporels. Nous évaluons notre méthode sur le jeu de données CATER et montrons qu’Hopper atteint une précision Top-1 de 73,2 % en utilisant uniquement une fréquence d’image de 1 FPS, en ne parcourant que quelques cadres critiques. Nous démontrons également que Hopper est capable de raisonnement à long terme en construisant un nouveau jeu de données, CATER-h, qui exige un raisonnement en plusieurs étapes pour localiser correctement les objets d’intérêt.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp