HiCM$^2$ : Modélisation de la mémoire compacte hiérarchique pour le sous-titrage vidéo dense

Avec la demande croissante de solutions aux défis vidéo du monde réel, l'intérêt pour le sous-titrage dense de vidéos (DVC) est en constante augmentation. Le DVC consiste à sous-titrer et localiser automatiquement des vidéos non tronquées. Plusieurs études mettent en lumière les défis du DVC et présentent des méthodes améliorées utilisant des connaissances antérieures, telles que le pré-entraînement et la mémoire externe. Dans cette recherche, nous proposons un modèle qui exploite les connaissances antérieures d'une mémoire compacte hiérarchique orientée vers l'humain, inspirée par la hiérarchie de la mémoire humaine et la cognition. Pour imiter le rappel de mémoire humain, nous construisons une mémoire hiérarchique et un module de lecture de mémoire hiérarchique. Nous élaborons une mémoire compacte hiérarchique efficace en utilisant le regroupement d'événements mémoriels et la synthèse grâce à des grands modèles linguistiques. Des expériences comparatives démontrent que ce processus de rappel de mémoire hiérarchique améliore les performances du DVC en atteignant des résultats d'état de l'art sur les jeux de données YouCook2 et ViTT.