EV-Action : Jeu de données multi-modale d’action combinant électromyographie et vision

L'analyse multimodale des actions humaines est un sujet de recherche critique et attrayant. Cependant, la plupart des jeux de données existants ne fournissent que des modalités visuelles (c'est-à-dire, RGB, profondeur et squelette). Pour combler cette lacune, nous présentons dans ce travail un nouveau jeu de données à grande échelle nommé EV-Action, qui comprend les modalités RGB, profondeur, électromyographie (EMG) et deux modalités squelettiques. Comparé aux jeux de données conventionnels, le jeu de données EV-Action présente deux améliorations majeures : (1) nous avons déployé un système de capture de mouvement pour obtenir une modality squelettique de haute qualité, offrant des informations de mouvement plus complètes, y compris le squelette, la trajectoire et l'accélération avec une précision supérieure, une fréquence d'échantillonnage plus élevée et plus de marqueurs squelettiques. (2) Nous introduisons une modality EMG qui est généralement utilisée comme indicateur efficace dans le domaine de la biomécanique et qui n'a pas encore été suffisamment explorée dans les recherches liées au mouvement. À notre connaissance, c'est le premier jeu de données d'action incluant une modality EMG. Les détails du jeu de données EV-Action sont clarifiés, tout en proposant un cadre simple mais efficace pour la reconnaissance d'actions basée sur l'EMG. De plus, des lignes directrices d'avant-garde sont appliquées pour évaluer l'efficacité de toutes les modalités. Les résultats obtenus montrent clairement la validité de la modality EMG dans les tâches d'analyse des actions humaines. Nous espérons que ce jeu de données apportera des contributions significatives à l'analyse du mouvement humain, à la vision par ordinateur, à l'apprentissage automatique, à la biomécanique et à d'autres domaines interdisciplinaires.