HyperAIHyperAI

Command Palette

Search for a command to run...

CLIP-It ! Résumé de Vidéo Guidé par le Langage

Medhini Narasimhan Anna Rohrbach Trevor Darrell

Résumé

Un résumé vidéo générique est une version abrégée d'une vidéo qui transmet l'ensemble de l'histoire et met en avant les scènes les plus importantes. Cependant, l'importance des scènes dans une vidéo est souvent subjective, et les utilisateurs devraient avoir la possibilité de personnaliser le résumé en utilisant un langage naturel pour spécifier ce qui est important pour eux. De plus, les modèles existants pour la synthèse automatique générique n'ont pas exploité les modèles linguistiques disponibles, qui peuvent servir de priorité efficace pour la saillance. Cette étude introduit CLIP-It, un cadre unique permettant d'aborder à la fois la synthèse vidéo générique et celle axée sur une requête, deux approches généralement traitées séparément dans la littérature. Nous proposons un transformateur multimodal guidé par le langage qui apprend à évaluer les images d'une vidéo en fonction de leur importance relative et de leur corrélation avec une requête définie par l'utilisateur (pour la synthèse axée sur une requête) ou une légende dense générée automatiquement (pour la synthèse vidéo générique). Notre modèle peut être étendu au cadre non supervisé en étant formé sans supervision basée sur des données véritables. Nous surpassons nettement les méthodes de base et les travaux antérieurs sur à la fois des jeux de données standard de synthèse vidéo (TVSum et SumMe) et un jeu de données de synthèse vidéo axée sur une requête (QFVS). En particulier, nous obtenons des améliorations significatives dans le cadre de transfert, témoignant ainsi des fortes capacités de généralisation de notre méthode.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp