Der KTH-Datensatz ist einer der standardmäßigsten Datensätze zur Aktionserkennung und enthält sechs Aktionen: Gehen, Joggen, Laufen, Boxen, Winken und Klatschen.

Um die Nuancen der Darbietungen hervorzuheben, wurde jede Bewegung von 25 verschiedenen Schauspielern ausgeführt und die Hintergrundumgebung für jeden Schauspieler und jede Bewegung systematisch variiert. Zu den Umgebungsvariablen gehörten: draußen, draußen mit unterschiedlichen Größen, draußen mit unterschiedlicher Kleidung und drinnen. Diese Variablen testen die Fähigkeit jedes Algorithmus, Aktionen unabhängig vom Hintergrund, dem Aussehen und den Proportionen des Schauspielers zu identifizieren.