Der ActivityNet-Datensatz enthält 849 Stunden YouTube-Videos zu 200 verschiedenen Arten von Aktivitäten. ActivityNet ist hinsichtlich Aktivitätskategorien und Anzahl der Videos der bislang größte Benchmark zur Erkennung zeitlicher Aktivitäten.

ActivityNet V1.3 enthält insgesamt 19.994 unbeschnittene Videos, die in drei Teilmengen unterteilt sind: Training, Validierung und Test im Verhältnis 2:1:1. Jede Aktivitätskategorie umfasst durchschnittlich 137 unbearbeitete Videos mit durchschnittlich 1,41 Aktivitäten pro Video und alle Aktivitäten sind mit zeitlichen Grenzen versehen. Die Ground-Truth-Anmerkungen für die Testvideos sind nicht öffentlich verfügbar.