Réseaux Neuraux Adaptatifs à la Vue pour une Reconnaissance d'Actions Humaines Basée sur le Squelette à Haute Performance

La reconnaissance d'actions humaines basée sur le squelette a récemment suscité un intérêt croissant grâce à l'accessibilité et à la popularité des données de squelette 3D. L'un des principaux défis dans la reconnaissance d'actions basée sur le squelette réside dans les grandes variations de vue lors de la capture des données. Pour atténuer les effets de ces variations de vue, cet article introduit un nouveau schéma d'adaptation de vue, qui détermine automatiquement les points de vue virtuels d'observation par une approche basée sur l'apprentissage et guidée par les données. Nous concevons deux réseaux neuronaux adaptatifs à la vue, à savoir VA-RNN basé sur RNN (Réseau neuronal récurrent) et VA-CNN basé sur CNN (Réseau neuronal convolutif). Pour chaque réseau, un nouveau module d'adaptation de vue apprend et détermine les points de vue d'observation les plus appropriés, puis transforme les squelettes vers ces points de vue pour une reconnaissance bout-en-bout avec un réseau principal de classification. Les études ablationnelles montrent que les modèles d'adaptation de vue proposés sont capables de transformer les squelettes provenant de diverses vues en des points de vue virtuels beaucoup plus cohérents, ce qui élimine largement l'influence du point de vue. De plus, nous concevons un schéma à deux flux (désigné sous le nom VA-fusion) qui fusionne les scores des deux réseaux pour fournir une prédiction fusionnée. Des évaluations expérimentales approfondies sur cinq benchmarks difficiles démontrent l'efficacité des réseaux neuronaux adaptatifs à la vue proposés ainsi que leur performance supérieure aux approches state-of-the-art. Le code source est disponible à l'adresse suivante : https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition.