HAA500 : Jeu de données d'actions atomiques centrées sur l'humain avec vidéos soigneusement sélectionnées

Nous présentons HAA500, un ensemble de données d’actions atomiques centrées sur l’humain, annoté manuellement pour la reconnaissance d’actions sur 500 classes, comprenant plus de 591 000 cadres étiquetés. Afin de minimiser les ambiguïtés dans la classification des actions, HAA500 se compose de classes fortement diversifiées d’actions atomiques fines, où un même label ne désigne que des actions strictement cohérentes, par exemple « Lancer au baseball » vs « Lancer franc en basketball ». Ainsi, HAA500 se distingue des jeux de données existants d’actions atomiques, où les actions étaient souvent étiquetées de manière grossière à l’aide de verbes d’action généraux tels que « Lancer ». HAA500 a été soigneusement curatisé pour capturer avec précision les mouvements des êtres humains, tout en éliminant au maximum les mouvements non pertinents par rapport à la classe ou les bruits spatio-temporels dans les étiquettes. Les avantages de HAA500 sont multiples : 1) actions centrées sur l’humain, avec une moyenne élevée de 69,7 % de joints détectables pour les poses humaines pertinentes ; 2) grande évolutivité, puisqu’il est possible d’ajouter une nouvelle classe en moins de 20 à 60 minutes ; 3) vidéos soigneusement sélectionnées, ne contenant que les éléments essentiels d’une action atomique, sans cadres superflus ; 4) classes d’actions atomiques à très haute granularité. Nos expériences approfondies, incluant une validation croisée sur des jeux de données collectés dans des environnements naturels, démontrent clairement les avantages des caractéristiques centrées sur l’humain et atomiques de HAA500, qui permettent même à un modèle de base en apprentissage profond d’améliorer ses prédictions en se concentrant sur les poses humaines atomiques. Nous détaillons les statistiques du jeu de données HAA500 ainsi que sa méthodologie de collecte, et comparons quantitativement HAA500 aux jeux de données existants pour la reconnaissance d’actions.