L'ensemble de données ActivityNet contient 849 heures de vidéos YouTube de 200 types d'activités différents. ActivityNet est le plus grand benchmark de détection d'activité temporelle à ce jour en termes de catégories d'activités et de nombre de vidéos.

ActivityNet V1.3 contient un total de 19 994 vidéos non découpées, qui sont divisées en trois sous-ensembles : formation, validation et test dans un rapport de 2:1:1. Chaque catégorie d'activité comprend en moyenne 137 vidéos non éditées, avec une moyenne de 1,41 activité par vidéo, et toutes les activités ont des limites temporelles annotées. Les annotations de vérité terrain pour les vidéos de test ne sont pas accessibles au public.