我们研究了用于编码晶体材料的周期图（periodic graphs）的表示学习问题。与常规图结构不同，周期图由一个最小单元胞在三维空间的规则晶格上周期性重复构成。如何有效编码这类周期性结构，带来了常规图表示学习中所不存在的独特挑战。除了需要具备E(3)不变性外，周期图的表示还必须满足周期性不变性（periodic invariance），即学习到的表示应对于晶胞边界的人为位移保持不变。此外，必须显式捕捉周期重复模式，因为不同尺寸和取向的晶格可能对应不同的材料。在本工作中，我们提出了一种名为Matformer的Transformer架构，用于周期图表示学习。Matformer设计为对周期性具有不变性，并能够显式捕捉重复模式。具体而言，Matformer通过高效利用相邻晶胞中相同原子之间的几何距离来编码周期性模式。在多个常用基准数据集上的实验结果表明，我们的Matformer在各项任务中均 consistently 超越基线方法。此外，实验结果也验证了周期性不变性以及显式重复模式编码在晶体材料表示学习中的关键作用。