MiraData: Ein Umfangreicher Videodatensatz Mit Langer Dauer Und Strukturierten Untertiteln

* Dieser Datensatz unterstützt die Online-Nutzung.Klicken Sie hier, um zu springen.

MiraData ist ein großer Videodatensatz, der 2024 gemeinsam vom Tencent PCG ARC Lab und der Chinesischen Universität Hongkong entwickelt wurde. Er ist für die Generierung langer Videos konzipiert. Die Ergebnisse der Studie lauten:MiraData: Ein umfangreicher Videodatensatz mit langer Dauer und strukturierten Untertiteln"

Anders als bei früheren Kurzvideoclips konzentriert sich MiraData auf unbearbeitete Videoclips von 1 bis 2 Minuten (durchschnittliche Dauer 72,1 Sekunden). Zu jedem Video gibt es eine strukturierte Beschreibung aus verschiedenen Blickwinkeln, wobei die durchschnittliche Beschreibungslänge 318 Wörter beträgt und so eine umfassende Darstellung der Videoinhalte gewährleistet ist. Es umfasst sechs Arten von Beschreibungen: Motivbeschreibung, Hintergrund, Stil, Kamerabewegung, Kurzbeschreibung und ausführliche Beschreibung, die die Beschreibungstiefe des Datensatzes erhöht.

Um qualitativ hochwertige Clips zu gewährleisten, filterte das Forschungsteam den Datensatz basierend auf Ästhetik, Bewegungsintensität und Farbe in fünf Teilmengen und wählte Clips mit hoher visueller Qualität und starker Bewegungsintensität aus. Um detaillierte und genaue Beschreibungen zu erhalten, hat das Forschungsteam zunächst mit einem hochmodernen Untertitelgenerator kurze Untertitel generiert und diese dann mit GPT-4V angereichert, um dichte Untertitel zu erzeugen. Um eine detaillierte Videobeschreibung aus mehreren Perspektiven bereitzustellen.

Der MiraData-Datensatz bietet wertvolle Ressourcen und neue Herausforderungen für Forscher in den Bereichen der Generierung langer Videos sowie des Verständnisses und der Generierung von Videoinhalten.