Résumé de Vidéos avec l'Attention

Dans cette étude, nous proposons une nouvelle méthode de résumé vidéo supervisé basée sur des séquences clés (keyshots) en utilisant un mécanisme d'auto-attention douce qui est conceptuellement simple et calculatoirement efficace. Les méthodes actuelles de pointe s'appuient sur des réseaux récurrents bidirectionnels tels que le BiLSTM combiné avec l'attention. Ces réseaux sont complexes à mettre en œuvre et exigent beaucoup plus de ressources computationnelles par rapport aux réseaux entièrement connectés. À cet égard, nous proposons un réseau basé sur l'auto-attention simple pour le résumé vidéo, capable d'effectuer la transformation séquence à séquence complète en une seule passe avant et une seule passe arrière lors de l'entraînement. Notre méthode établit de nouveaux résultats de pointe sur deux benchmarks couramment utilisés dans ce domaine : TvSum et SumMe.