Les réseaux de transformers ont permis des avancées significatives dans le domaine du modèle de langage et de la traduction automatique. Ces modèles comprennent deux modules consécutifs : une couche de propagation avant (feed-forward layer) et une couche d'auto-attention (self-attention layer). Cette dernière permet au réseau de capturer les dépendances à long terme et est souvent considérée comme l'ingrédient clé du succès des transformers. En nous appuyant sur cette intuition, nous proposons un nouveau modèle composé uniquement de couches d'attention. Plus précisément, nous enrichissons les couches d'auto-attention avec des vecteurs de mémoire persistante qui jouent un rôle similaire à celui de la couche de propagation avant. Grâce à ces vecteurs, nous pouvons supprimer la couche de propagation avant sans dégrader les performances du transformer. Notre évaluation montre les avantages apportés par notre modèle sur des benchmarks standard de modélisation linguistique au niveau des caractères et des mots.