HyperAIHyperAI

Command Palette

Search for a command to run...

Vous Vous Souvenez ? La Légendisation Vidéo Dense avec le Rappel de Mémoire Multimodal

Minkuk Kim Hyeon Bae Kim Jinyoung Moon Jinwoo Choi Seong Tae Kim

Résumé

Les recherches sur la légendisation dense de vidéos ont suscité une attention considérable. L'objectif est de localiser et légendier automatiquement tous les événements dans des vidéos non tronquées. Plusieurs études ont introduit des méthodes en concevant la légendisation dense de vidéos comme un problème multitâche de localisation d'événements et de légendiation d'événements, afin de prendre en compte les relations inter-tâches. Cependant, aborder ces deux tâches uniquement à partir d'une entrée visuelle est difficile en raison du manque de contenu sémantique. Dans cette étude, nous proposons une nouvelle approche inspirée par le traitement cognitif de l'information chez l'homme pour résoudre ce problème. Notre modèle utilise une mémoire externe pour intégrer des connaissances antérieures. Nous proposons une méthode de récupération de mémoire basée sur l'appariement vidéo-texte multimodal. Pour incorporer efficacement les caractéristiques textuelles récupérées, nous avons conçu un encodeur polyvalent et un décodeur dotés de modules d'attention croisée visuelle et textuelle. Des expériences comparatives ont été menées pour démontrer l'efficacité de notre méthode sur les jeux de données ActivityNet Captions et YouCook2. Les résultats expérimentaux montrent des performances prometteuses de notre modèle sans préformation extensive à partir d'un grand ensemble de données vidéo.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Vous Vous Souvenez ? La Légendisation Vidéo Dense avec le Rappel de Mémoire Multimodal | Articles | HyperAI