L'ensemble de données Charades contient de vraies vidéos de personnes effectuant des activités quotidiennes. L'ensemble de données comprend 9 848 vidéos d'activités quotidiennes en intérieur d'une durée moyenne de 30 secondes, impliquant 15 scènes d'intérieur, des interactions de 46 catégories d'objets, 30 verbes et 157 catégories d'actions.

Chaque vidéo de l'ensemble de données est annotée avec : plusieurs descriptions de texte personnalisées, des étiquettes d'action, des intervalles d'action et des catégories d'objets en interaction. La vidéo moyenne contient 6,8 actions et est créée par des centaines d'utilisateurs dans leur propre maison. 267 utilisateurs ont reçu une phrase composée d'objets et d'actions provenant d'un vocabulaire fixe et des vidéos enregistrées les montrant en train d'interpréter la phrase.

L'ensemble de données contient 66 500 annotations temporelles de 157 catégories d'actions, 46 catégories d'objets avec 41 104 étiquettes et 27 847 descriptions textuelles de vidéos. Dans l'ensemble standard, il y a 7 986 vidéos de formation et 1 863 vidéos de validation.