L'ensemble de données Drive&Act est une référence multimodale de pointe pour la reconnaissance des actions des conducteurs dans les véhicules en mouvement. L'ensemble de données comprend des squelettes 3D et des annotations hiérarchiques au niveau de l'image pour 9,6 millions d'images capturées à partir de 6 vues différentes et de 3 modalités (RVB).

L'ensemble de données présente les caractéristiques suivantes :

• Comprend 12 heures de données vidéo, soit un total de 29 longues séquences ;

• Un système de caméra multi-vues calibré avec 5 vues ;

• Vidéo multimodale : RVB, IR et profondeur ;

• Capture de mouvement sans marqueur : pose du corps et de la tête en 3D

• 83 annotations d'activités hiérarchiques annotées manuellement.
  – Niveau 1 : Tâches de longue durée (12).
  – Niveau 2 : Comportement sémantique (34)
  – Niveau 3 : Triade d’interaction objet (comportement, objet, lieu) (6|17|14).