Évaluation Générative Basée sur la Vidéo (Correctitude de l'Information)

Le Benchmark de Performance Générative basé sur la Vidéo (Correctitude de l'Information) est une référence pour évaluer la précision des informations produites par les modèles de dialogue vidéo génératifs. Cette tâche s'appuie sur le jeu de données ActivityNet-200 et construit un ensemble de test à partir de légendes descriptives riches et denses, ainsi que de paires de questions-réponses annotées par des humains. Le pipeline d'évaluation développé en utilisant le modèle GPT-3.5 attribue un score relatif de 1 à 5 aux prédictions générées, visant à quantifier la correctitude des informations dans les dialogues vidéo et à fournir une base scientifique pour l'optimisation et l'amélioration des performances des modèles.