La reconnaissance d'actions humaines basée sur le squelette a suscité un grand intérêt grâce à la facilité d'accès aux données du squelette humain. Récemment, une tendance s'est développée consistant à utiliser des réseaux neuronaux profonds et entièrement connectés pour modéliser les coordonnées 3D des articulations sans tenir compte de l'efficacité computationnelle. Dans cet article, nous proposons un réseau neuronal guidé par la sémantique (SGN) simple mais efficace pour la reconnaissance d'actions basée sur le squelette. Nous introduisons explicitement les sémantiques de haut niveau des articulations (type d'articulation et indice de trame) dans le réseau afin d'améliorer la capacité de représentation des caractéristiques. De plus, nous exploitons hiérarchiquement les relations entre les articulations au moyen de deux modules : un module au niveau des articulations pour modéliser les corrélations entre les articulations dans la même trame, et un module au niveau des trames pour modéliser les dépendances entre les trames en considérant l'ensemble des articulations dans la même trame. Une ligne de base solide est proposée pour faciliter l'étude dans ce domaine. Avec une taille de modèle d'un ordre de grandeur inférieure à celle de la plupart des travaux précédents, SGN atteint des performances de pointe sur les jeux de données NTU60, NTU120 et SYSU. Le code source est disponible à l'adresse suivante : https://github.com/microsoft/SGN.