基于骨架的人体动作识别由于人体骨架数据的易获取性而受到了广泛关注。近年来，一种趋势是使用非常深的前馈神经网络来建模关节的3D坐标，而不考虑计算效率。在本文中，我们提出了一种简单而有效的语义引导神经网络（Semantics-Guided Neural Network, SGN）用于基于骨架的动作识别。我们显式地将关节的高层次语义（关节类型和帧索引）引入网络，以增强特征表示能力。此外，我们通过两个模块分层次地利用关节之间的关系：一个关节级模块用于建模同一帧内关节的相关性，以及一个帧级模块用于建模帧之间的依赖关系，即将同一帧内的所有关节作为一个整体进行处理。为了促进该领域的研究，我们提出了一种强大的基线模型。与大多数先前的工作相比，SGN的模型规模小了一个数量级，但在NTU60、NTU120和SYSU数据集上实现了最先进的性能。源代码可在https://github.com/microsoft/SGN 获取。