Toyota Smarthome Trimmed est un ensemble de données conçu pour les tâches de classification d'activités, impliquant 31 activités. Les vidéos sont basées sur un seul clip d'activité, ce qui donne un total de 16 115 courts clips vidéo RVB+D. Le comportement actif se produit naturellement et n’est pas contrôlé expérimentalement.

Cet ensemble de données pose donc de grands défis : les différences entre les catégories sont importantes, les catégories sont très déséquilibrées, les activités ont des mouvements similaires et les durées varient considérablement. Il existe deux types d'étiquettes : grossières et fines.