VidSitu est un ensemble de données pour la tâche d'étiquetage des rôles sémantiques dans les vidéos (VidSRL). VidSitu est une source de données de compréhension vidéo à grande échelle, comprenant 29 000 clips vidéo de 10 secondes, annotés avec des verbes et des rôles sémantiques en unités de 2 secondes. Les entités sont généralement référencées dans chaque événement d'un fragment, et les événements sont connectés par des relations événement-événement.

Les clips de VidSitu proviennent d'une grande collection de films (3K) et sont sélectionnés pour être complexes (4,2 verbes uniques dans une seule vidéo) et diversifiés (200 verbes avec plus de 100 jetons chacun).