HyperAIHyperAI

Command Palette

Search for a command to run...

Résumé Supervisé de Vidéo par l'Intermédiaire de Multiples Ensembles de Caractéristiques avec une Attention Parallèle

Junaid Ahmed Ghauri Sherzod Hakimov Ralph Ewerth

Résumé

L'attribution de scores d'importance à des images ou (courts) segments spécifiques dans une vidéo est cruciale pour la synthèse, mais également une tâche difficile. Les travaux précédents n'utilisent qu'une seule source de caractéristiques visuelles. Dans cet article, nous proposons une nouvelle architecture de modèle qui combine trois ensembles de caractéristiques pour le contenu visuel et le mouvement afin de prédire les scores d'importance. L'architecture proposée utilise un mécanisme d'attention avant de fusionner les caractéristiques de mouvement et celles représentant le contenu visuel (statique), c'est-à-dire dérivées d'un modèle de classification d'images. Des évaluations expérimentales approfondies sont rapportées pour deux jeux de données bien connus, SumMe et TVSum. Dans ce cadre, nous identifions des problèmes méthodologiques concernant l'utilisation de ces jeux de données par les travaux précédents, et présentons un schéma d'évaluation équitable avec des divisions appropriées des données qui peuvent être utilisées dans les futures recherches. En utilisant des caractéristiques statiques et dynamiques avec un mécanisme d'attention parallèle, nous améliorons les résultats de l'état de l'art pour SumMe, tout en restant au niveau de l'état de l'art pour l'autre jeu de données.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Résumé Supervisé de Vidéo par l'Intermédiaire de Multiples Ensembles de Caractéristiques avec une Attention Parallèle | Articles | HyperAI