基于骨架的动作识别已广泛应用于智能视频监控与人类行为分析领域。先前的研究已成功将卷积神经网络（Convolutional Neural Networks, CNN）应用于学习骨架序列的时空特征。然而，这些方法通常仅关注孤立关节的坐标信息，忽略了关节之间的空间关系，且对运动特征的建模仅是隐式进行的。为解决上述问题，本文提出一种基于几何代数（Geometric Algebra）的有效方法，以从骨架序列中学习更全面的表示。首先，构建一种基于前向朝向的时空模型，用于表征骨架序列的空间构型与时间动态特性，该模型对视角变化具有较强的鲁棒性；其次，学习相互补充的形状-运动表征，以全面描述骨架动作的特征；最后，采用多流CNN模型从互补的形状-运动表征中提取并融合深层特征。在NTU RGB+D与Northwestern-UCLA数据集上的实验结果一致表明，所提方法具有显著优越性。