Transformateur vidéo prédictif

Nous proposons Anticipative Video Transformer (AVT), une architecture d'apprentissage vidéo basée sur l'attention et entièrement end-to-end, qui s'attache aux actions observées précédemment afin d'anticiper les actions futures. Nous entraînons le modèle de manière conjointe pour prédire l'action suivante dans une séquence vidéo, tout en apprenant des encodeurs de caractéristiques d'images capables de prédire les caractéristiques des cadres futurs successifs. Contrairement aux stratégies existantes d'agrégation temporelle, AVT présente l'avantage de préserver la progression séquentielle des actions observées tout en capturant efficacement les dépendances à longue portée — deux aspects essentiels pour la tâche d'anticipation. À travers des expériences étendues, nous démontrons que AVT atteint les meilleures performances rapportées sur quatre benchmarks populaires d'anticipation d'actions : EpicKitchens-55, EpicKitchens-100, EGTEA Gaze+ et 50-Salads ; elle remporte également la première place du défi EpicKitchens-100 organisé lors de CVPR'21.