HyperAIHyperAI

Command Palette

Search for a command to run...

Modélisation conjointe vidéo basée sur le Transformers hiérarchique pour la co-résumé

Haopeng Li Qiuhong Ke Mingming Gong Rui Zhang

Résumé

La synthèse vidéo vise à générer automatiquement un résumé (storyboard ou vidéo condensée) d'une vidéo, ce qui facilite la recherche et la navigation à grande échelle dans les vidéos. La plupart des méthodes existantes effectuent la synthèse vidéo sur des vidéos individuelles, négligeant ainsi les corrélations entre les vidéos similaires. Ces corrélations sont cependant également informatives pour la compréhension et la synthèse des vidéos. Pour remédier à cette limitation, nous proposons le modèle de codage conjoint vidéo basé sur un Transformers hiérarchique (VJMHT) pour la co-synthèse, qui prend en compte les dépendances sémantiques entre les vidéos. Plus précisément, VJMHT comprend deux couches de Transformers : la première couche extrait une représentation sémantique des plans individuels des vidéos similaires, tandis que la deuxième couche réalise un codage conjoint au niveau des plans pour agrégater l'information sémantique inter-vidéo. Par ce biais, des motifs de haut niveau complets inter-vidéo sont explicitement modélisés et appris pour la synthèse des vidéos individuelles. De plus, une reconstruction de représentation vidéo basée sur les Transformers est introduite pour maximiser la similarité de haut niveau entre le résumé et la vidéo originale. Des expériences approfondies sont menées pour vérifier l'efficacité des modules proposés et l'excellence du VJMHT en termes de F-mesure et d'évaluation par classement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp