Apprentissage par renforcement progressif profond pour la reconnaissance d'actions basée sur les squelettes

Dans cet article, nous proposons une méthode de apprentissage par renforcement progressif profond (DPRL) pour la reconnaissance d’actions dans des vidéos basées sur les squelettes, visant à extraire les trames les plus informatives tout en éliminant les trames ambigües au sein des séquences afin de reconnaître les actions. Étant donné que le choix des trames représentatives est multiple pour chaque vidéo, nous modélisons la sélection de trames comme un processus progressif via un apprentissage par renforcement profond, au cours duquel nous ajustons progressivement les trames sélectionnées en tenant compte de deux facteurs essentiels : (1) la qualité des trames sélectionnées et (2) la relation entre les trames sélectionnées et la vidéo dans son ensemble. En outre, en considérant que la topologie du corps humain est intrinsèquement structurée sous forme de graphe, où les sommets représentent les articulations et les arêtes les os rigides, nous utilisons un réseau neuronal convolutif basé sur les graphes pour capturer les dépendances entre les articulations afin de réaliser la reconnaissance d’actions. Notre approche atteint des performances très compétitives sur trois benchmarks largement utilisés.