我们提出了压缩Transformer（Compressive Transformer），这是一种具备注意力机制的序列模型，能够对历史记忆进行压缩，从而实现长程序列学习。实验表明，压缩Transformer在WikiText-103和Enwik8两个基准测试中均取得了当前最优的语言建模性能，分别达到17.1的困惑度（ppl）和0.97比特每字符（bpc）。此外，我们发现该模型能够有效建模高频语音信号，并可作为强化学习（RL）中的记忆机制，在物体匹配任务中得到了验证。为推动长程序列学习领域的发展，我们提出了一项基于书籍文本的新开放词汇语言建模基准——PG-19。