Un perceptron multicouche spatio-temporel pour la reconnaissance de gestes

La reconnaissance des gestes est essentielle pour permettre l’interaction entre les véhicules autonomes et les humains. Alors que les approches actuelles se concentrent sur la combinaison de plusieurs modalités telles que les caractéristiques d’image, les points clés et les vecteurs osseux, nous proposons une architecture de réseau de neurones qui obtient des résultats de pointe uniquement à partir de données relatives au squelette corporel. Nous introduisons le perceptron multicouche spatio-temporel pour la reconnaissance des gestes dans le contexte des véhicules autonomes. Étant donné des poses corporelles 3D au fil du temps, nous définissons des opérations de mélange temporel et spatial afin d’extraire des caractéristiques dans les deux domaines. En outre, l’importance de chaque instant temporel est réévaluée grâce à des couches Squeeze-and-Excitation. Une évaluation approfondie sur les jeux de données TCG et Drive&Act est présentée afin de démontrer les performances prometteuses de notre approche. En outre, nous avons déployé notre modèle sur notre véhicule autonome afin de mettre en évidence sa capacité en temps réel et son exécution stable.