HyperAIHyperAI

Command Palette

Search for a command to run...

Graphique Relationnel Objet avec Apprentissage Recommandé par l'Enseignant pour la Génération de Légendes Vidéo

Ziqi Zhang Yaya Shi Chunfeng Yuan Bing Li Peijin Wang Weiming Hu Zhengjun Zha

Résumé

L’exploitation optimale des informations provenant à la fois de la vision et du langage est essentielle pour la tâche de génération de légendes vidéo. Les modèles existants souffrent d’une représentation visuelle insuffisante en raison du manque d’interaction entre les objets, ainsi que d’un entraînement inadéquat pour les mots liés au contenu, en raison du problème des longues queues (long-tailed problem). Dans cet article, nous proposons un système complet de génération de légendes vidéo, comprenant à la fois un nouveau modèle et une stratégie d’entraînement efficace. Plus précisément, nous introduisons un encodeur basé sur un graphe relationnel d’objets (Object Relational Graph, ORG), capable de capturer des caractéristiques d’interaction plus détaillées afin d’enrichir la représentation visuelle. Parallèlement, nous concevons une méthode d’apprentissage recommandé par un enseignant (Teacher-Recommended Learning, TRL), qui exploite pleinement un modèle linguistique externe (External Language Model, ELM) pour intégrer une connaissance linguistique abondante dans le modèle de légende. L’ELM génère des propositions de mots plus sémantiquement similaires, étendant ainsi les mots vérité terrain utilisés pour l’entraînement afin de pallier le problème des longues queues. Des évaluations expérimentales sur trois benchmarks — MSVD, MSR-VTT et VATEX — montrent que le système ORG-TRL atteint des performances de pointe. Des études d’ablation approfondies ainsi que des visualisations démontrent efficacement l’efficacité de notre approche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Graphique Relationnel Objet avec Apprentissage Recommandé par l'Enseignant pour la Génération de Légendes Vidéo | Articles | HyperAI