Der Charades-Datensatz enthält echte Videos von Menschen bei alltäglichen Aktivitäten. Der Datensatz besteht aus 9.848 täglichen Indoor-Aktivitätsvideos mit einer durchschnittlichen Länge von 30 Sekunden, darunter 15 Indoor-Szenen, Interaktionen von 46 Objektkategorien, 30 Verben und 157 Aktionskategorien.

Jedes Video im Datensatz ist mit mehreren benutzerdefinierten Textbeschreibungen, Aktionsbezeichnungen, Aktionsintervallen und interagierenden Objektkategorien versehen. Das durchschnittliche Video enthält 6,8 Aktionen und wird von Hunderten von Benutzern zu Hause erstellt. 267 Benutzern wurde ein Satz präsentiert, der aus Objekten und Aktionen aus einem festen Vokabular bestand, und sie haben Videos aufgenommen, in denen sie den Satz nachspielten.

Der Datensatz enthält 66.500 zeitliche Anmerkungen zu 157 Aktionskategorien, 46 Objektkategorien mit 41.104 Beschriftungen und 27.847 Textbeschreibungen von Videos. Im Standardset gibt es 7.986 Trainingsvideos und 1.863 Validierungsvideos.