HyperAIHyperAI

Command Palette

Search for a command to run...

HiCM2^22 : Modélisation de la mémoire compacte hiérarchique pour le sous-titrage vidéo dense

Minkuk Kim¹, Hyeon Bae Kim¹, Jinyoung Moon², Jinwoo Choi¹*, Seong Tae Kim¹*

Résumé

Avec la demande croissante de solutions aux défis vidéo du monde réel, l'intérêt pour le sous-titrage dense de vidéos (DVC) est en constante augmentation. Le DVC consiste à sous-titrer et localiser automatiquement des vidéos non tronquées. Plusieurs études mettent en lumière les défis du DVC et présentent des méthodes améliorées utilisant des connaissances antérieures, telles que le pré-entraînement et la mémoire externe. Dans cette recherche, nous proposons un modèle qui exploite les connaissances antérieures d'une mémoire compacte hiérarchique orientée vers l'humain, inspirée par la hiérarchie de la mémoire humaine et la cognition. Pour imiter le rappel de mémoire humain, nous construisons une mémoire hiérarchique et un module de lecture de mémoire hiérarchique. Nous élaborons une mémoire compacte hiérarchique efficace en utilisant le regroupement d'événements mémoriels et la synthèse grâce à des grands modèles linguistiques. Des expériences comparatives démontrent que ce processus de rappel de mémoire hiérarchique améliore les performances du DVC en atteignant des résultats d'état de l'art sur les jeux de données YouCook2 et ViTT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
HiCM$^2$ : Modélisation de la mémoire compacte hiérarchique pour le sous-titrage vidéo dense | Articles | HyperAI