Donnez-moi des signaux : Codage de signaux discriminants pour la reconnaissance d'activités multimodales

Nous présentons une méthode simple, mais efficace et flexible pour la reconnaissance d'actions, supportant plusieurs modalités de capteurs. Les séquences de signaux multivariés sont encodées dans une image, puis classifiées à l'aide de l'architecture CNN EfficientNet récemment proposée. Notre objectif était de trouver une approche qui se généralise bien sur différentes modalités de capteurs sans adaptations spécifiques tout en obtenant de bons résultats. Nous appliquons notre méthode à 4 jeux de données de reconnaissance d'actions contenant des séquences squelettiques, des mesures inertielles et de capture de mouvement ainsi que des empreintes Wi-Fi comprenant jusqu'à 120 classes d'actions. Notre méthode définit actuellement la meilleure approche basée sur les CNN sur le jeu de données NTU RGB+D 120, améliore l'état de l'art sur le jeu de données ARIL Wi-Fi de +6,78 %, augmente la performance du modèle basé sur les données inertielles UTD-MHAD de +14,4 %, celle du modèle basé sur les données squelettiques UTD-MHAD de 1,13 % et atteint 96,11 % sur les données de capture de mouvement Simitate (répartition 80/20). Nous démontrons également des expériences concernant la fusion modale au niveau du signal et la réduction du signal pour éviter que la représentation ne soit surchargée.