MiraData : Un Ensemble De Données Vidéo À Grande Échelle Avec Des Sous-titres De Longue Durée Et Structurés

* Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

MiraData est un grand ensemble de données vidéo développé conjointement par Tencent PCG ARC Lab et l'Université chinoise de Hong Kong en 2024. Il est conçu pour les longues tâches de génération vidéo. Les résultats du document sont «MiraData : un ensemble de données vidéo à grande échelle avec de longues durées et des sous-titres structurés"

Contrairement aux clips vidéo courts précédents, MiraData se concentre sur des clips vidéo non édités de 1 à 2 minutes (durée moyenne 72,1 secondes). Chaque vidéo est accompagnée d'une description structurée sous différents angles, avec une longueur moyenne de description de 318 mots, assurant une présentation complète du contenu vidéo. Il comprend six types de descriptions : description du sujet, arrière-plan, style, mouvement de la caméra, description courte et description dense, ce qui améliore la profondeur de description de l'ensemble de données.

Pour garantir des clips de haute qualité, l'équipe de recherche a filtré l'ensemble de données en cinq sous-ensembles en fonction de l'esthétique, de l'intensité du mouvement et de la couleur, en sélectionnant des clips avec une qualité visuelle élevée et une forte intensité de mouvement. Pour obtenir des descriptions détaillées et précises, l’équipe de recherche a d’abord généré des sous-titres courts à l’aide d’un générateur de sous-titres de pointe, puis les a enrichis à l’aide de GPT-4V pour générer des sous-titres denses. Fournir une description vidéo précise à partir de plusieurs perspectives.

L'ensemble de données MiraData fournit des ressources précieuses et de nouveaux défis aux chercheurs dans les domaines de la génération de vidéos longues, de la compréhension et de la génération de contenu vidéo.