HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur vidéo prédictif

Rohit Girdhar Kristen Grauman

Résumé

Nous proposons Anticipative Video Transformer (AVT), une architecture d'apprentissage vidéo basée sur l'attention et entièrement end-to-end, qui s'attache aux actions observées précédemment afin d'anticiper les actions futures. Nous entraînons le modèle de manière conjointe pour prédire l'action suivante dans une séquence vidéo, tout en apprenant des encodeurs de caractéristiques d'images capables de prédire les caractéristiques des cadres futurs successifs. Contrairement aux stratégies existantes d'agrégation temporelle, AVT présente l'avantage de préserver la progression séquentielle des actions observées tout en capturant efficacement les dépendances à longue portée — deux aspects essentiels pour la tâche d'anticipation. À travers des expériences étendues, nous démontrons que AVT atteint les meilleures performances rapportées sur quatre benchmarks populaires d'anticipation d'actions : EpicKitchens-55, EpicKitchens-100, EGTEA Gaze+ et 50-Salads ; elle remporte également la première place du défi EpicKitchens-100 organisé lors de CVPR'21.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Transformateur vidéo prédictif | Articles | HyperAI