L'ensemble de données KTH est l'un des ensembles de données de reconnaissance d'actions les plus standard, contenant six actions : marcher, faire du jogging, courir, boxer, faire un signe de la main et applaudir.

Pour mettre en valeur les nuances des performances, chaque mouvement a été exécuté par 25 acteurs différents, et l’environnement de fond de chaque acteur et de chaque mouvement a été systématiquement varié. Les variables environnementales comprenaient : à l'extérieur, à l'extérieur avec différentes tailles, à l'extérieur avec des vêtements différents et à l'intérieur. Ces variables testent la capacité de chaque algorithme à identifier des actions indépendamment de l’arrière-plan, de l’apparence de l’acteur et des proportions de l’acteur.