Ensemble De Données D'inférence Vidéo Et Linguistique Sur Le Violon

Violin signifie VIdeO-and-Language INference, qui peut être utilisé pour des tâches de compréhension multimodales de vidéos et de textes.

L'ensemble de données contient 95 322 paires vidéo-hypothèses provenant de 15 887 clips vidéo, couvrant plus de 582 heures de vidéo. Ces clips vidéo contiennent un contenu riche avec différentes dynamiques temporelles, changements d'événements et interactions interpersonnelles. Les données ont été collectées à partir de deux sources : (i) des émissions de télévision populaires et (ii) des extraits de films provenant de chaînes YouTube.