Transformer 网络在语言建模和机器翻译方面取得了重要进展。这些模型包括两个连续的模块：前馈层和自注意力层。后者使网络能够捕捉长期依赖关系，通常被认为是 Transformer 成功的关键因素。基于这一直觉，我们提出了一种仅由注意力层组成的新型模型。具体来说，我们在自注意力层中增加了持久记忆向量（persistent memory vectors），它们的作用类似于前馈层。借助这些向量，我们可以移除前馈层而不降低 Transformer 的性能。我们的评估表明，该模型在标准的字符级和词级语言建模基准测试中带来了显著的好处。