步态识别旨在通过观察每个身体部位的不同周期性运动来识别个体特有的行走模式。然而，现有的大多数方法对每个部位的处理都是平等的，未能考虑到由于步频和采样率不同而引起的步态序列数据冗余问题。在本研究中，我们提出了一种多粒度运动表示网络（GaitMM）用于步态序列学习。在GaitMM中，我们设计了一个结合全身和细粒度序列学习模块（FFSL），以探索独立于各部位的空间-时间表示。此外，我们采用了一种帧级压缩策略，即多尺度运动聚合（MSMA），以捕捉步态序列中的判别信息。实验结果表明，在两个公开数据集CASIA-B和OUMVLP上，我们的方法达到了最先进的性能。