Réseaux de neurones convolutionnels locaux 3D pour la reconnaissance de la marche

L'objectif de la reconnaissance de la démarche consiste à apprendre le motif spatio-temporel unique lié à la forme du corps humain à partir de ses caractéristiques évoluant dans le temps. Étant donné que différentes parties du corps se comportent différemment pendant la marche, il est naturel de modéliser séparément les motifs spatio-temporels de chacune d'entre elles. Toutefois, les méthodes existantes basées sur les parties divisent équitablement les cartes de caractéristiques de chaque trame en bandes horizontales fixes afin d'obtenir des parties locales. Il est évident que ces méthodes fondées sur une partition en bandes ne permettent pas une localisation précise des parties du corps. Premièrement, différentes parties du corps peuvent apparaître dans la même bande (par exemple, les bras et le torse), tandis qu'une même partie peut se situer dans des bandes différentes à des trames distinctes (par exemple, les mains). Deuxièmement, les différentes parties du corps présentent des échelles différentes, et même une même partie peut apparaître à des emplacements et à des échelles variées selon les trames. Troisièmement, ces parties diffèrent également par leurs schémas de mouvement (par exemple, à quelle trame le mouvement commence, la fréquence de changement de position, la durée de l’activité). Pour surmonter ces limitations, nous proposons de nouvelles opérations locales 3D, constituants une famille générique de blocs de construction pour les architectures fondamentales de reconnaissance de la démarche en 3D. Ces opérations locales 3D permettent l’extraction de volumes locaux 3D correspondant aux parties du corps au sein d’une séquence, avec des échelles spatiales et temporelles, des positions et des longueurs adaptatives. Ainsi, les motifs spatio-temporels des parties du corps sont efficacement appris à partir du voisinage local 3D, à des échelles, positions, fréquences et durées spécifiques à chaque partie. Des expériences montrent que nos réseaux de neurones convolutifs 3D atteignent des performances de pointe sur des jeux de données populaires de reconnaissance de la démarche. Le code est disponible à l’adresse suivante : https://github.com/yellowtownhz/3DLocalCNN.